К сведению
К нам в томский политех привезли вычислительный кластер. Состоит из 24 узлов, каждый - одноюнитовый корпус с двумя двухъядерными 3-гигагерцовыми ксеонами внутри и 8 гигами оперативы. Плюс 2-юнитовая управляющая станция в аналогичной конфигурации, разве что винтов больше в RAID'е. Узлы связаны между собой шиной Infiniband, это 10-гигабит по меди, служит для передачи данных (задержка - единицы микросекунд), а также управляющим гигабитным Ethernet. Воткнута в узлы еще некая управляющая сеть, разработка какого-то нашего института, на которую заведены резет, питание, а также один последовательный порт каждого узла - таким образом, с управляющей станции к ним ко всем можно иметь доступ по serial console, а также включать и выключать их удаленно. Стоит на них на всех SLES 10 (уже немного поебались с RPM на нём, да :)) с MPI, gcc и icc.
Кроме того, еще имеется хранилище на 5 Тб от Panasas. Это "вещь в себе", организующая RAID "на уровне отдельных файлов", имеющая web-интерфейс и отдающая данные через 4-линковый Ethernet-транк (выдает до 350 MB/s полезных) несколькими разными файловыми системами - обычно родной panfs, но умеет и nfs и smbfs. Внутри этой штуки, кстати, стоит сильномодифицированная FreeBSD (в которой, впрочем, поковыряться нельзя, "вещь в себе", наружу не торчит).
Всё это хозяйство стоит в черной готичной APC-шной стойке, питается двумя Liebert'овскими UPS'ами на 10 кВА, шумит как паровоз (стойка со 7 свитчами в моей серверной в несколько раз тише, пожалуй) и легко может подогреть комнату, в которой это находится, с +20 до +35 и выше, если кондиционеры не включать.
Стоит это хозяйство 6 млн. руб. (7, включая помещение и пр.). Это конечно не 288 узлов собираемого сейчас в соседнем ТГУ кластера, который станет самым мощным в СНГ, но тем не менее, 750 рабочих Gflops (а в пике может доходить до 1000) в HP Linpack мы на нем уже получили. Кстати говоря, при такой стоимости железа очень смешно было увидеть в качестве Ethernet-свитча D-Link DES-1248T. Да, основные данные идут по Infiniband, но всё же...
Собственно, я это всё к чему. Поскольку администрировать сие хозяйство буду я вместе с однокурсником, нас посылают в двухнедельную командировку в Москву на обучение, прилетаю 19 числа (если погода будет летная ;)), будем тренироваться на подопытных кроликах в НИВЦ МГУ. Московским френдам, желающим пересечься - велкам в комменты.
Кроме того, еще имеется хранилище на 5 Тб от Panasas. Это "вещь в себе", организующая RAID "на уровне отдельных файлов", имеющая web-интерфейс и отдающая данные через 4-линковый Ethernet-транк (выдает до 350 MB/s полезных) несколькими разными файловыми системами - обычно родной panfs, но умеет и nfs и smbfs. Внутри этой штуки, кстати, стоит сильномодифицированная FreeBSD (в которой, впрочем, поковыряться нельзя, "вещь в себе", наружу не торчит).
Всё это хозяйство стоит в черной готичной APC-шной стойке, питается двумя Liebert'овскими UPS'ами на 10 кВА, шумит как паровоз (стойка со 7 свитчами в моей серверной в несколько раз тише, пожалуй) и легко может подогреть комнату, в которой это находится, с +20 до +35 и выше, если кондиционеры не включать.
Стоит это хозяйство 6 млн. руб. (7, включая помещение и пр.). Это конечно не 288 узлов собираемого сейчас в соседнем ТГУ кластера, который станет самым мощным в СНГ, но тем не менее, 750 рабочих Gflops (а в пике может доходить до 1000) в HP Linpack мы на нем уже получили. Кстати говоря, при такой стоимости железа очень смешно было увидеть в качестве Ethernet-свитча D-Link DES-1248T. Да, основные данные идут по Infiniband, но всё же...
Собственно, я это всё к чему. Поскольку администрировать сие хозяйство буду я вместе с однокурсником, нас посылают в двухнедельную командировку в Москву на обучение, прилетаю 19 числа (если погода будет летная ;)), будем тренироваться на подопытных кроликах в НИВЦ МГУ. Московским френдам, желающим пересечься - велкам в комменты.