Интересно, а есть необходимость локализовать суперкомпьютер? Другими словами зачем нужно здание и оборудование покупать, электричество налоги и прочие издержки, если можно через интернет объединять домашние компьютеры в кластер, за небольшую мзду, как собственно и делают организаторы криптовалют.
Думаю суперкомпьютер Эфириум, много мощнее любых локализованных суперкомпьютеров, вопрос лишь в том, есть ли у него технические ограничения?
Есть класс задач требующий низкую латентность (задержку) и высокую пропускную способность между узлами. Для этого применяются достаточно дорогостоящие платы связи, а сервера представляют собой множество вычислительных CPU / GPU на общей шине. Грид системы для таких задач не годятся
Да не очень-то они дорогостоящие. Я на ебеях б/ушные 40Gb Infiniband в среднем за $25/порт беру (всё. т.е. Switch+HBA+Cable). Это уже с доставкой из омерик в цэевропу. Более древних 10/20Gb тоже валом, слегка дешевле. Конечно, дешевые лоты ловить нужно, чтобы было много у одного продавца и доставка по штатам недорогая/бесплатная. Вот сейчас ко мне плывут по морю три Sun Oracle X2821A Datacenter Infiniband 36 Port 40Gb QSFP+ L3 Switch, в итоге выйдет по $130 за штуку.
Так что, если кто хочет шить RDMA на дому, это уже недорого))
RDMA на дому - конечно не дорого. А вот в промышленном варианте, да много, да сразу, да гарантированно. Да ещё сервис бы не плохо иметь с гарантированным временем устранения сбоев, чтоб не простаивать. Вот и набегает на порядки больше 25$.
На много-много-тысячных количествах может оказаться ещё дешевле заказать свой минисервер с кучей Phi и/или ARM плюс сразу IB HBA на борту (или мезонины). И сразу СХД на M.2 с IB портами в таком же унифицированном конструктиве, под какой-нибудь крейт типа классических VME/евормеханики и всяких там блейдов. И погружное жидкостное охлаждение.
С серверами - это уже совсем лишнее, зачем свой заказывать, если прекрасно подходит любой стандартный? Покупай да пользуйся. Только с гарантией и поддержкой желательно, мы ж про решение для дела говорим, а не дома побаловаться. И крейт с жидкостным охлаждением тут особо ничего не даст, лишний геморрой только. Те же стандартные серваки с нормальным интерконнектом и кучей видюх на воздухе отработают прекрасно. В итоге быстрее будет и дешевле. Как вариант - блейды, у тех же HPE классная серия есть как раз под HPC. Насчёт СХД на М.2 - не понял это как вообще?? 0_0 А вот подключение по IB для СХД - это очень смело, но я б не стал. SAN на нём строить - тот ещё ужас на крыльях ночи, сервисники через пол-года - максимум год централизовано повесятся всем отделом. Не под такие вещи протокол точился. Разве что вы GPFS используете, но это вообще особый случай не требующий в идеале СХД и уж точно без связи с СХД по IB. Ну или iser, но нафиг эти проблемы, если есть NFS?
/// А вот подключение по IB для СХД - это очень смело, но я б не стал. ///
Оно уже 15 лет в действии - в сегменте High-End. В моих задачах (HyperGraph DBMS) без этого решения вообще никак. Даже тривиальный Ceph без IB - как раз та самая виселица для саппорта.
Смотря что считать. Если всякие там конечноэлементные структуры с высокой локальностью данных или хорошо ускоряемые разреженные матрицы, то может и будет дешевле. А если смешанное дискретнособытийно-мультиагентное имитационное моделирование, то нужны транспьютеры с миллиардами MIMD ядер. И где почти всё мимо кеша. И где проще сразу делать NUMA в сторону того что буферы HBA IB (или что там будет вместо него) будут частью этой самой NUMA.
/// по сути серваки с видяхами - практически NUMA и есть по сути ///
Раздорожье не в NUMA, а в SIMD/суперскалярности против ManyCore. Для моего класса задач нужно и то, и другое. Если бы дискретные Xeon Phi имели IB на борту, было бы зашибись круто. Я вообще лежу в направлении всунуть Erlang BEAM внутрь Phi - просто потому что на сег день экосистема Erlang видится мне практически единственной годной технологией для гибкого супертранспьютера. Осталась мелочь - бросить всё остальное и остаток жизни посвятить этой залипухе. Но пока что всё тянется крайне медленно, по остаточному принципу. В Окт из СШП приехали подешевке 4 штуки Phi 5110P, но годной (такой чтобы их просто всунуть без напильника и аргонной сварки) платформы для предельных экспериментов у меня нет. Есть кучка старых 4хOpteron матерей от Dell6950, но надо пилить PCIe x8 разьёмы, чтобы всунуть Фишки. Или навешивать в воздухе через шлейфы. Да и лимит 64GB RAM быстро придавит. Пока лежу в заданном направлении, думаю.
-- миниатюрный, удобный для плотной массовой упаковки в извлекаемые модули а-ля hot-swap hdd. -- крупносерийный, дешевый, недефицитный. -- PCIe прямо в serdes FPGA, никаких прокладок SAS/SATA/AHCI.
/// По IB - вы видимо много работали с SDS, но это очень особый случай, я это оговаривал. Что Ceph, что GPFS, да и все прочие им подобные по сути работают нативно на объектном уровне
( ... )
Интересно, а есть необходимость локализовать суперкомпьютер? Другими словами зачем нужно здание и оборудование покупать, электричество налоги и прочие издержки, если можно через интернет объединять домашние компьютеры в кластер, за небольшую мзду, как собственно и делают организаторы криптовалют.
Думаю суперкомпьютер Эфириум, много мощнее любых локализованных суперкомпьютеров, вопрос лишь в том, есть ли у него технические ограничения?
Reply
Reply
Да не очень-то они дорогостоящие.
Я на ебеях б/ушные 40Gb Infiniband в среднем за $25/порт беру (всё. т.е. Switch+HBA+Cable).
Это уже с доставкой из омерик в цэевропу.
Более древних 10/20Gb тоже валом, слегка дешевле.
Конечно, дешевые лоты ловить нужно, чтобы было много у одного продавца и доставка по штатам недорогая/бесплатная. Вот сейчас ко мне плывут по морю три Sun Oracle X2821A Datacenter Infiniband 36 Port 40Gb QSFP+ L3 Switch, в итоге выйдет по $130 за штуку.
Так что, если кто хочет шить RDMA на дому, это уже недорого))
Reply
Вот и набегает на порядки больше 25$.
Reply
Reply
Насчёт СХД на М.2 - не понял это как вообще?? 0_0
А вот подключение по IB для СХД - это очень смело, но я б не стал. SAN на нём строить - тот ещё ужас на крыльях ночи, сервисники через пол-года - максимум год централизовано повесятся всем отделом. Не под такие вещи протокол точился. Разве что вы GPFS используете, но это вообще особый случай не требующий в идеале СХД и уж точно без связи с СХД по IB. Ну или iser, но нафиг эти проблемы, если есть NFS?
Reply
Оно уже 15 лет в действии - в сегменте High-End.
В моих задачах (HyperGraph DBMS) без этого решения вообще никак.
Даже тривиальный Ceph без IB - как раз та самая виселица для саппорта.
Reply
Аццкая скорость ⊗ плотность компоновки ⊗ дешевизна крупносерийного продукта.
Жесткий RAID6 на FPGA, меззонины на 12-24 M2 слотов.
Reply
Гугль для индексаторов свои заказывал. Тысячами штук.
В своём форм-факторе.
С дешевыми дисками прямо на матери (как в IBM'овских блейдах)
Reply
Да никакого геморроя, утопил и всё.
Градиенты темп на воздушке до 50К легко добегают, утопленники - в полтора градуса максимум.
Reply
Которую все купившие довольно скоро разбирают и распродают.
Reply
Смотря что считать.
Если всякие там конечноэлементные структуры с высокой локальностью данных или хорошо ускоряемые разреженные матрицы, то может и будет дешевле.
А если смешанное дискретнособытийно-мультиагентное имитационное моделирование, то нужны транспьютеры с миллиардами MIMD ядер. И где почти всё мимо кеша. И где проще сразу делать NUMA в сторону того что буферы HBA IB (или что там будет вместо него) будут частью этой самой NUMA.
Reply
Reply
Раздорожье не в NUMA, а в SIMD/суперскалярности против ManyCore.
Для моего класса задач нужно и то, и другое.
Если бы дискретные Xeon Phi имели IB на борту, было бы зашибись круто.
Я вообще лежу в направлении всунуть Erlang BEAM внутрь Phi - просто потому что на сег день экосистема Erlang видится мне практически единственной годной технологией для гибкого супертранспьютера.
Осталась мелочь - бросить всё остальное и остаток жизни посвятить этой залипухе. Но пока что всё тянется крайне медленно, по остаточному принципу.
В Окт из СШП приехали подешевке 4 штуки Phi 5110P, но годной (такой чтобы их просто всунуть без напильника и аргонной сварки) платформы для предельных экспериментов у меня нет. Есть кучка старых 4хOpteron матерей от Dell6950, но надо пилить PCIe x8 разьёмы, чтобы всунуть Фишки. Или навешивать в воздухе через шлейфы. Да и лимит 64GB RAM быстро придавит.
Пока лежу в заданном направлении, думаю.
Reply
-- миниатюрный, удобный для плотной массовой упаковки в извлекаемые модули а-ля hot-swap hdd.
-- крупносерийный, дешевый, недефицитный.
-- PCIe прямо в serdes FPGA, никаких прокладок SAS/SATA/AHCI.
Reply
Reply
Leave a comment