/// По IB - вы видимо много работали с SDS, но это очень особый случай, я это оговаривал. Что Ceph, что GPFS, да и все прочие им подобные по сути работают нативно на объектном уровне ///
IB абсолютно необходим для когерентности/репликации, если у вас запись присутствует в значимых количествах.
SDS по факту везде. То что крутящийся в моих полках IBM и Sun спецсофт на VxWorks мне недоступен для лёгкой домашней модификации, не делает их не-software-defined. Была бы необходимость и ресурсы, я бы взял железо и перепилил софт. Иногда я делаю что-то в таком духе, используя FC-экспандеры от СХД в самокрутках; сейчас вот два десятка полок от Clariion хочу заюзать, причём без FC-свичей, радиальным подключением каждой полки к серверу. К сож, удобные для этого FC HBA редкость, прикупленные мной для этих целей Tachion QX4 из коробки не работают, Бздя в кернел панику падает, а Линуксы об PMC-Sierra не умеют. Бодаю потихоньку по праздникам, пока безуспешно.
В суперкомпах, которые я имел в виду, NVMEoRDMA просто аж просится. И IBNBD никак не хуже FCP, имхо)) Другое дело. что из коробки может не работать. Я вот в ближ праздничные (т.е. свободные) дни буду играться с маленьким кластерком (не решил что буду ставить, Небулу или оВирт), может LizardFS c IB погоняю, если легко поднимется.
Сразу скажу, что для клариков посмотрите HBA Qlogic, емс только с ними всю жизнь работают, на других может быть веселуха, в плохом смысле слова. Кстати, карты в полках нативно поддерживают daisy chain, можно их так подключить, задействовав по 4 порта на сервере на каждые 8 штук, главное вручную выставить адресацию на картах ручкой или чем-то тонким. К сожалению старые поколения полок только 8 штук на петле поддерживают.
И по IB с FCP - они оба прекрасны, без шуток! Просто разные они очень. IB точили всю жизнь на синхронизацию памяти и передачу данных между выч. узлами, и он в этом ИМХО лучший сейчас. А FCP - под проброс блочных устройств. В теории IB можно использовать для блочного доступа, вроде и драйвера есть и протоколы, но на практике - там всё просто ужасно, неработающий по факту MPIO, массовая паника на узлах кластера при рескане устройств одной!! нодой и это я ещё молчу о постоянных утечках памяти в драйвере SRP. FCP тоже в теории можно использовать как RDMA протокол в кластере, но это проприетарный протокол и там тоже в реальности столько точить надо, что это просто нереально.
SDS - тут есть нюанс, понятно, что подавляющее большинство хранилок давно уже чисто софтовые. Из-за этого термин SDS в наши дни сильно сузился, под ним понимают вполне конкретный класс решений, чаще всего со scale-out архитектурой и не жестко определёнными параметрами узлов, в общем решения типа Ceph, VmwareVSAN, GlusterFS, GPFS и т.п. Я бы остановился на этом определении и не стал его расширять, иначе возникает сильная путаница. Ceph и EMC Unity, потомок далёкий клариков, всё-таки достаточно разные, чтобы разделить их как классы решений. И собственно что я сказать-то хотел: в последнем классе места для IB на front-end не нашлось, таковы факты.
/// Сразу скажу, что для клариков посмотрите HBA Qlogic ///
Разных QL* у меня ящик стоит, весь прикол в том чтобы подключить полку прямо к HBA кабелем HSSDC2-SFP, без свичей и оптики. Я даже уже купил 40 штук именно таких двухметровых EMC'шных кабелей, по 10уев за штуку обошлись с доставкой морем.
Из 4GbFC HBA с незапаянными оптич модулями (т.е. под голый SFP) нашел только таргет-модовые от HP 3PAR и PMCSierra TX4 из какой-то неновой IBM Storage System (с ведущим серваком x3550 с дисплейчиком на морде).
HP'шные 3PAR HBA вообще глухие - жуткая проприетарщина. Остались как памятник (обошлись недорого - по 8 уе за контроллер с 4-мя SFP модулями, что уже безубыточно только за SFP'шки).
Квантумы распознаются фрёй с небольшими патчами модуля ядра, и даже начинается биндинг в дерево девайсов, но падает с паникой где-то в kernel memory allocation. Я просто жду очередного степпинга фри и пробую снова))) Поскольку всё это просто досужее фриколожество "а вдруг чегось выйдет" за свой счёт, то и спроса с меня никакого)))
------- /// Кстати, карты в полках нативно поддерживают daisy chain ///
Я знаю, у меня и цепные HSSDC2-HSSDC2 кабели тоже имеются в количестве на всякий случай (есть вариант, что мне ещё штук 40 таких полок подарят по цене металлолома). Тут весь цимес в том чтобы распараллелить обращения к очень широкому RAID через несколько HBA в серваке (думал заюзать парочку старых Dell_PE6950 4xOpteron-8347/64GB-DDR2) , чтобы хоть как-то приблизить скорость к SSD'шкам Ну вот жалко мне такую крутизну выбрасывать. Рука не поднимается. На девелоперских задачах вполне поработают.
Проблема пока что в дисках. 200 штук 15krpm блинокрутов я уже переформатировал в 512 сектора, на этом живые закончились, остальные три сотни пошли на магниты. Надо два косаря зелени где-то срочно украсть, пока в Штатах хороший чел из одних рук полторы сотни дисков (в кларионовских салазках) по дешевке отдаёт.
IB абсолютно необходим для когерентности/репликации, если у вас запись присутствует в значимых количествах.
SDS по факту везде. То что крутящийся в моих полках IBM и Sun спецсофт на VxWorks мне недоступен для лёгкой домашней модификации, не делает их не-software-defined. Была бы необходимость и ресурсы, я бы взял железо и перепилил софт. Иногда я делаю что-то в таком духе, используя FC-экспандеры от СХД в самокрутках; сейчас вот два десятка полок от Clariion хочу заюзать, причём без FC-свичей, радиальным подключением каждой полки к серверу. К сож, удобные для этого FC HBA редкость, прикупленные мной для этих целей Tachion QX4 из коробки не работают, Бздя в кернел панику падает, а Линуксы об PMC-Sierra не умеют. Бодаю потихоньку по праздникам, пока безуспешно.
В суперкомпах, которые я имел в виду, NVMEoRDMA просто аж просится.
И IBNBD никак не хуже FCP, имхо))
Другое дело. что из коробки может не работать.
Я вот в ближ праздничные (т.е. свободные) дни буду играться с маленьким кластерком (не решил что буду ставить, Небулу или оВирт), может LizardFS c IB погоняю, если легко поднимется.
Reply
И по IB с FCP - они оба прекрасны, без шуток! Просто разные они очень. IB точили всю жизнь на синхронизацию памяти и передачу данных между выч. узлами, и он в этом ИМХО лучший сейчас. А FCP - под проброс блочных устройств.
В теории IB можно использовать для блочного доступа, вроде и драйвера есть и протоколы, но на практике - там всё просто ужасно, неработающий по факту MPIO, массовая паника на узлах кластера при рескане устройств одной!! нодой и это я ещё молчу о постоянных утечках памяти в драйвере SRP. FCP тоже в теории можно использовать как RDMA протокол в кластере, но это проприетарный протокол и там тоже в реальности столько точить надо, что это просто нереально.
SDS - тут есть нюанс, понятно, что подавляющее большинство хранилок давно уже чисто софтовые. Из-за этого термин SDS в наши дни сильно сузился, под ним понимают вполне конкретный класс решений, чаще всего со scale-out архитектурой и не жестко определёнными параметрами узлов, в общем решения типа Ceph, VmwareVSAN, GlusterFS, GPFS и т.п. Я бы остановился на этом определении и не стал его расширять, иначе возникает сильная путаница. Ceph и EMC Unity, потомок далёкий клариков, всё-таки достаточно разные, чтобы разделить их как классы решений. И собственно что я сказать-то хотел: в последнем классе места для IB на front-end не нашлось, таковы факты.
Reply
Разных QL* у меня ящик стоит, весь прикол в том чтобы подключить полку прямо к HBA кабелем HSSDC2-SFP, без свичей и оптики. Я даже уже купил 40 штук именно таких двухметровых EMC'шных кабелей, по 10уев за штуку обошлись с доставкой морем.
Из 4GbFC HBA с незапаянными оптич модулями (т.е. под голый SFP) нашел только таргет-модовые от HP 3PAR и PMCSierra TX4 из какой-то неновой IBM Storage System (с ведущим серваком x3550 с дисплейчиком на морде).
HP'шные 3PAR HBA вообще глухие - жуткая проприетарщина. Остались как памятник (обошлись недорого - по 8 уе за контроллер с 4-мя SFP модулями, что уже безубыточно только за SFP'шки).
Квантумы распознаются фрёй с небольшими патчами модуля ядра, и даже начинается биндинг в дерево девайсов, но падает с паникой где-то в kernel memory allocation.
Я просто жду очередного степпинга фри и пробую снова)))
Поскольку всё это просто досужее фриколожество "а вдруг чегось выйдет" за свой счёт, то и спроса с меня никакого)))
-------
/// Кстати, карты в полках нативно поддерживают daisy chain ///
Я знаю, у меня и цепные HSSDC2-HSSDC2 кабели тоже имеются в количестве на всякий случай (есть вариант, что мне ещё штук 40 таких полок подарят по цене металлолома).
Тут весь цимес в том чтобы распараллелить обращения к очень широкому RAID через несколько HBA в серваке (думал заюзать парочку старых Dell_PE6950 4xOpteron-8347/64GB-DDR2) , чтобы хоть как-то приблизить скорость к SSD'шкам
Ну вот жалко мне такую крутизну выбрасывать. Рука не поднимается. На девелоперских задачах вполне поработают.
Проблема пока что в дисках. 200 штук 15krpm блинокрутов я уже переформатировал в 512 сектора, на этом живые закончились, остальные три сотни пошли на магниты. Надо два косаря зелени где-то срочно украсть, пока в Штатах хороший чел из одних рук полторы сотни дисков (в кларионовских салазках) по дешевке отдаёт.
Reply
Спасибо за интересный разговор!
Reply
Да я просто залип сильно на этом фричестве, а поговорить не с кем))
Как рыбак, при каждом случае руками размеры показываю)))
Если любопытно, вот тут ⇲ есть маленький анонсик задумки, в направлении которой я лежу-и-хочу.
А вот тут ⇲ я докладываю партнёрам-меценатам о тягучем малоперспективном ходе дел.
Reply
Leave a comment