Вычислительный комплекс для инженерно-технических расчетов или суперкомпьютер ЮФУ.
Два года назад в Таганрогском Технологическом институте ЮФУ запустили многопроцессорную вычислительную систему, построенную в рамках проведения работ по модернизации информационной инфраструктуры вуза, средства на которую были изысканы благодаря программе развития Федеральных университетов. Главной задачей, которую призван решить аппаратно-програмный комплекс, в первую очередь является обеспечение коллективного доступа для высокопроизводительных научно-технологических расчетов.
Силами сотрудников Института системного программирования РАН, ТТИ ЮФУ, КРОК и HP был построен новый, удаленно администрируемый ЦОД, с внедренной системой построцессинга и визуализации данных, посетить который удалось во время проведения профилактических мероприятий.
Сама МВС состоит из 128 блейд-серверов HP ProLiant BL685cG5 на базе процессоров AMD Opteron. Общее количество вычислительных ядер в комплексе - 2048, суммарный объем оперативной памяти - 4 ТБ.
Вычислительный комплекс работает под управлением интегрированного пакета системного кластерного программного обеспечения HP XC System Software, базирующееся на Linux RHEL 4 update 4 совместно со средствами управления заданиями Platform LSF 6.1, системой управления ресурсами кластера SLURM, системой мониторинга Nagios и xtools.
Схема вычислительного кластера:
2.
Масштабируемая система хранения данных построена “без единой точки отказа" с резервированием подсистем и включает в себя систему хранения HP StorageWorks SFS (Scalable File Share) c параллельной кластерной файловой системой на базе технологии ustre на 16 TB. SFS решение объединяет в себя компоненты MDS (серверы управления мета-данными), OSS (серверы доступа к блокам данных), 8 OST (хранилища блоков данных) и коммутатор HP Procurve 2848.Взаимодействие узлов между собой, а также подключение узлов к системе хранения данных HP SFS на базе параллельной файловой системы обеспечивается коммуникационной сетью InfiniBand 20Gb/s, что позволяет всем вычислительным узлам одновременно иметь доступ к единой файловой системе. Общее количество дисков 96, среди которых 72 диска для данных, 16 RAID 6 parity дисков, 8 резервных дисков. Агрегированная производительность составляет порядка 1.2ГБ/с на операциях чтения, 800МБ/с на операциях записи.
В состав входит лицензия на HP-MPI. Для задачи резервного копирования используется программный продукт HP Data Protector для Linux RHEL. Пиковая производительность вычислительного комплекса составляет 18,8 Tflop/s (рабочая 14.51 Tflop/s).
Основные вычисения в кластере ведуться с помощью програмного обеспечения "Fluid Numerical Instruments". К примеру, в интересах ЗАО "Гражданские Самолеты Сухого" проводились расчеты полей течения вокруг компоновки перспективного пассажирского самолета на крейсерском режиме с моделированием работы двухконтурного турбореактивного двигателя.
Поверхностные элементы пространственной расчетной сетки. Вид на центроплан снизу:3.
Срез поля чисел Маха, проходящий через ось двигателя параллельно плоскости симметрии самолета:
4.
Распределение коэффициента давления по поверхности модели и линии тока в струе работающего двигателя:
5.
Анализируя результаты расчетных исследований, проведенных для ЗАО ГСС, выявлены неблагоприятные характеристики течения в зоне интерференции соплового аппарата двигателя и нижней поверхности кормовой части пилона двигателя, которые вызывают возникновение существенных волновых кризисов течения на пилоне, а сами результаты сравниваются с экспериментальными данными и результатами, полученными в пакетах Fluent и Wind-US. Сам ЦОД представляет из себя переоборудованное помещение вуза. Серверные шкафы вычислительного кластера:
6.
Серверный шкаф с консолью, свитчами Infiniband, тремя HP ProLiant 385 и ленточной системой хранения HP StorageWorks MSL4048:
7.
Тыловая часть серверных шкафов вычислительного кластера:
8.
Кабельная система под фальш-полом:
9.
Кабельная и трубная разводка системы газового пожаротушения под фальш-полом:
10.
Распределительныи щиты блока питания и системы кондиционирования (у двери):
11.
Распределительный щит дизель-генераторной установки:
12.
ИБП GE SG 200 PurePulse S1, у дальней стены - комплектная батарейная ёмкость в батарейном кабинете. Производитель - партнер олимпийского движения, а на переднем плане видны резервные баллоны системы газового пожаротушения:
13.
Снаряженные и подключенные в систему баллоны системы газового пожаротушения:
14.
Внутренняя часть комплексной системы управления климатом технологических помещений. Заглядываем в открытую дверцу одного из кондиционеров Stulz CSD652A:
15.
Внешние блоки системы кондиционирования расположенны на стене во внутреннем дворике корпуса института:
16.
Там же, на территории , в отдельном обустроенном модуле расположенна дизель-генераторная установка:
13.
Новая аппаратная часть, автоматическая работа:
14.
Выводы:
15.
Фильтр-система дизель-генераторной установки:
16.
Рядом с модулем дизель-генераторной установки расположена автоматическая, как я понимаю, метеостанция на мобильном шасси, принадлежащая военно-морской кафедре, однако стоит ли верить написанному на корпусе генератора, непонятно:
17.
В настоящее время МВС, построенная в Таганрогском Технологическом Институте Южного Федерального Университета занимает 27 строчку рейтинга топ-50 суперкомпьютеров СНГ а сотрудники ведут активную работу по внедрению МВС в научный и учебный процесс, предоставляя вычислительные ресурсы в том числе для удаленных пользователей.
Надеюсь эта практика продолжится и впредь.