Продолжаем конструировать волшебный шкаф...
После интереснейшего обсуждения в предыдущем посте я успел кое-что сделать.
Во-первых, выяснилось, что у нашего провайдера появились новые тарифы, в которых наконец-то решили выбраться за почти что повсеместную границу 100 Мбит/с. 300 Мбит/с всего на 100 рублей в месяц дороже, чем 100 Мбит/с (500 Мбит/с уже гораздо дороже и совершенно ни к чему). Позвонил уточнить техническую возможность, рассказал, что роутер у меня гигабитный и что в квартире проложен Cat 5e. Возможность есть, но надо будет перекладывать кабель. В новостройке, сданной три года назад. Я уже с грустью стал представлять кабель-каналы, расползающиеся по коридорам (сейчас их нет, поскольку провайдер обеспечивает не только интернет, но и домофон и видеонаблюдение и вся инфраструктура закладывалась при строительстве), но все оказалось не так страшно.
Сначала пришли монтажники с протяжкой для кабеля и что-то протащили из подвала (видимо, в щиток - я не уточнял, что). Потом по телефону меня напугали, что, возможно, придется менять кабель в коридоре и ввод кабеля в квартиру (а разрушений не хотелось бы, ремонт новый). Но пришел другой монтажник, покопался пару минут в щитке, после чего роутер отрапортовал об автосогласовании на 1 Гбит/с. На этаже, по крайней мере, в стены заложили Cat 5e. Уже хорошо. Через час поменяли тариф и я получил честные 300 Мбит/с по Speedtest. Но розетку в прихожей надо бы поставить нормальную, а то висящий прямо на витой паре разъем пугает...
Возвращаемся к шкафам. Купил стоечный корпус Procase RM438-B-0. Заявлен как сделанный в России, что сначала несколько настораживало - но напрасно. Корпус неплохой. Все края обработаны, окраска хорошая, сборка нормальная. Поставляется в собранном виде, в комплекте винты и пластина для блоков питания формата 2U (по умолчанию - обычный ATX). Инструкции нет - видимо, разработчики решили, что там, кто покупает такой корпус, инструкция не нужна. В общем, так и есть. Только пару пакетиков с винтами перепутали - но у бывалого компьютерщика всегда есть в запасе нужные.
Для экспериментов пока собрана система на извлеченном из шкафа (в прямом смысле) старом железе, i5-3550 в Asus P8Z77-V LX. Древность, но работает, как и раньше. Debian 12 поставился без малейших проблем. С NVMe железка загружаться не умеет, но мне это и не нужно, я раздобыл Intel S3610 на 200 ГБайт. Подержанный, но, судя по SMART, он надолго переживет полное устаревание всего моего железа - eMLC же.
Эксперименты с сетью. Да, я решил - экспериментировать, так "по полной", сразу на 10 Гбит/с, с оптикой и всем прочим. Оптической информационной супермагистрали комната-кухня быть! Intel X520, конечно, девайс заслуженный, но возможные проблемы с совместимостью SFP+ модулей меня не радуют - я очень не люблю vendor lock-in, тем более при покупке б/у железа и в условиях, когда Intel официально вообще ушел с российского рынка. К тому же там старинный PCIe 2.0 x8. У меня в десктопе вообще нет свободных слотов x8, есть только x4 в x16. PCIe 2.0 x4 для одного канала 10 Гбит/с хватит, но все равно как-то нехорошо... Стал смотреть, что есть еще. Выяснилось, что карты на 10 Гбит/с - вообще не проблема. Нашлись пара Mellanox ConnectX-4 (CX4111A-ACAT, прошивка даже не на 10, а на 25 Гбит/c!), выпуска 2018 года, но не использованные, в запечатанных пакетиках и с неприкрученными планками. PCIe 3.0 x8 с автосогласованием на x4, прямо указанным в документации.
Воткнул одну в Z77 (в единственный PCIe 3.0, где раньше была видеокарта!), другую - в десктоп, на десктопе настроил мост со встроенным адаптером, соединил дешевым метровым DAC от FIBO - работает! Скорость по iperf, правда, всего 2 Гбит/с, но, подозреваю, с мостом я 10 Гбит/с и не увижу. Греются приемлемо. Вентилятор в Procase, надо, конечно, поменять - воет страшно, тем более в комплекте всего один 120 мм, а места под два 120 мм и два 80 мм. Надо поставить сразу все, но более-менее тихие.
Сервер будет, кроме всего прочего, и файловым. И здесь возникла идея несколько поменять концепцию. Мне, в общем-то, не нужно много места. Сейчас у меня зеркало на 4 ТБайта и мне хватает. Покупать новые диски такой емкости смысла нет, конечно, поэтому со временем они все равно будут заменены на более емкие. С другой стороны, многие важные вещи (бэкапы с десктопа, архив фотографий, сканы документов и т.п.) занимают еще меньше места. А не поискать ли мне пару слегка подержанных SSD на MLC, где-нибудь по терабайту? Сделать из них зеркало (с ZFS), доступ по 10 Гбит/с сети будет очень быстрый. Правда, заранее представляя мешанину из SATA кабелей в довольно-таки тесном корпусе, я уже думаю про HBA контроллер SAS/SATA и кабель Mini-SAS - 4 x SATA. С прицелом на будущее на корзину для 2.5" в отсек 5.25", благо в серверных материнских платах нет недостатка в разъемах и линиях PCIe.
Во-первых, выяснилось, что у нашего провайдера появились новые тарифы, в которых наконец-то решили выбраться за почти что повсеместную границу 100 Мбит/с. 300 Мбит/с всего на 100 рублей в месяц дороже, чем 100 Мбит/с (500 Мбит/с уже гораздо дороже и совершенно ни к чему). Позвонил уточнить техническую возможность, рассказал, что роутер у меня гигабитный и что в квартире проложен Cat 5e. Возможность есть, но надо будет перекладывать кабель. В новостройке, сданной три года назад. Я уже с грустью стал представлять кабель-каналы, расползающиеся по коридорам (сейчас их нет, поскольку провайдер обеспечивает не только интернет, но и домофон и видеонаблюдение и вся инфраструктура закладывалась при строительстве), но все оказалось не так страшно.
Сначала пришли монтажники с протяжкой для кабеля и что-то протащили из подвала (видимо, в щиток - я не уточнял, что). Потом по телефону меня напугали, что, возможно, придется менять кабель в коридоре и ввод кабеля в квартиру (а разрушений не хотелось бы, ремонт новый). Но пришел другой монтажник, покопался пару минут в щитке, после чего роутер отрапортовал об автосогласовании на 1 Гбит/с. На этаже, по крайней мере, в стены заложили Cat 5e. Уже хорошо. Через час поменяли тариф и я получил честные 300 Мбит/с по Speedtest. Но розетку в прихожей надо бы поставить нормальную, а то висящий прямо на витой паре разъем пугает...
Возвращаемся к шкафам. Купил стоечный корпус Procase RM438-B-0. Заявлен как сделанный в России, что сначала несколько настораживало - но напрасно. Корпус неплохой. Все края обработаны, окраска хорошая, сборка нормальная. Поставляется в собранном виде, в комплекте винты и пластина для блоков питания формата 2U (по умолчанию - обычный ATX). Инструкции нет - видимо, разработчики решили, что там, кто покупает такой корпус, инструкция не нужна. В общем, так и есть. Только пару пакетиков с винтами перепутали - но у бывалого компьютерщика всегда есть в запасе нужные.
Для экспериментов пока собрана система на извлеченном из шкафа (в прямом смысле) старом железе, i5-3550 в Asus P8Z77-V LX. Древность, но работает, как и раньше. Debian 12 поставился без малейших проблем. С NVMe железка загружаться не умеет, но мне это и не нужно, я раздобыл Intel S3610 на 200 ГБайт. Подержанный, но, судя по SMART, он надолго переживет полное устаревание всего моего железа - eMLC же.
Эксперименты с сетью. Да, я решил - экспериментировать, так "по полной", сразу на 10 Гбит/с, с оптикой и всем прочим. Оптической информационной супермагистрали комната-кухня быть! Intel X520, конечно, девайс заслуженный, но возможные проблемы с совместимостью SFP+ модулей меня не радуют - я очень не люблю vendor lock-in, тем более при покупке б/у железа и в условиях, когда Intel официально вообще ушел с российского рынка. К тому же там старинный PCIe 2.0 x8. У меня в десктопе вообще нет свободных слотов x8, есть только x4 в x16. PCIe 2.0 x4 для одного канала 10 Гбит/с хватит, но все равно как-то нехорошо... Стал смотреть, что есть еще. Выяснилось, что карты на 10 Гбит/с - вообще не проблема. Нашлись пара Mellanox ConnectX-4 (CX4111A-ACAT, прошивка даже не на 10, а на 25 Гбит/c!), выпуска 2018 года, но не использованные, в запечатанных пакетиках и с неприкрученными планками. PCIe 3.0 x8 с автосогласованием на x4, прямо указанным в документации.
Воткнул одну в Z77 (в единственный PCIe 3.0, где раньше была видеокарта!), другую - в десктоп, на десктопе настроил мост со встроенным адаптером, соединил дешевым метровым DAC от FIBO - работает! Скорость по iperf, правда, всего 2 Гбит/с, но, подозреваю, с мостом я 10 Гбит/с и не увижу. Греются приемлемо. Вентилятор в Procase, надо, конечно, поменять - воет страшно, тем более в комплекте всего один 120 мм, а места под два 120 мм и два 80 мм. Надо поставить сразу все, но более-менее тихие.
Сервер будет, кроме всего прочего, и файловым. И здесь возникла идея несколько поменять концепцию. Мне, в общем-то, не нужно много места. Сейчас у меня зеркало на 4 ТБайта и мне хватает. Покупать новые диски такой емкости смысла нет, конечно, поэтому со временем они все равно будут заменены на более емкие. С другой стороны, многие важные вещи (бэкапы с десктопа, архив фотографий, сканы документов и т.п.) занимают еще меньше места. А не поискать ли мне пару слегка подержанных SSD на MLC, где-нибудь по терабайту? Сделать из них зеркало (с ZFS), доступ по 10 Гбит/с сети будет очень быстрый. Правда, заранее представляя мешанину из SATA кабелей в довольно-таки тесном корпусе, я уже думаю про HBA контроллер SAS/SATA и кабель Mini-SAS - 4 x SATA. С прицелом на будущее на корзину для 2.5" в отсек 5.25", благо в серверных материнских платах нет недостатка в разъемах и линиях PCIe.