Мой новый домашний сервер, часть 3: немного о сборке
По сборке системников писать особо нечего. 95% процентов всех подобных отчётов сокращаются до слов «я пошел в магазин, купил железок и собрал из них компьютер».
Потому я не буду тут расписывать то, как я прикручивал материнку и какой термопастой мазал процессор. А пройдусь по некоторым вопросам совместимости железа, охлаждению, энергопотреблению и прикручиванию в корпус пары-тройки непредусмотренных там вещей.
Процессор
Хотя Ryzen 7 1700 у меня завёлся после отката биоса с магазинного на предыдущую версию, работал он нестабильно, зависая в случайные моменты. Но чаще всего это происходило во время долгой работы rsync’a. Я мог десять часов копировать файлы в mc, krusader’е или заливать по сети - и ничего не происходило. А стоило запустить копирование rsync’ом между локальными дисками - и через 3-4 часа компьютер молча зависал.
Возможно, это была неполная совместимость процессора с материнской платой (всё же он официально не поддерживается), а возможно - проблема ранних райзенов при работе с линуксом. Если второе - то оно частично исправлялось некоторыми настройками питания в BIOS’е, но окончательно не уходило.
Но что проблема была в процессоре - это точно. Я переставил сюда Ryzen 5 3600X со своего десктопа - и компьютер заработал без каких бы то ни было проблем, ни единого разрыва.
Но 3600X всё же довольно горячий процессор, плюс шестиядерник, а я уже нацелился на восемь ядер. Потому удалось договориться об обмене 1700 на 3700, под Windows этот 1700 (на материнке с официальной поддержкой 1700) пока работает без проблем. Как и 3700 у меня. А 3600Х пойдёт обратно в домашний десктоп.
Охлаждение
Я писал, что некоторые башенные кулеры (включая мой) на этой материнке придётся ставить так, что вентилятор гонит воздух в потолок корпуса, а не в заднюю стенку. Но, учитывая то, что корпус почти весь состоит из вентиляционных отверстий и позволяет вешать вентиляторы в любом месте, я просто повесил наверх 140мм вентилятор, чтобы он «подхватывал» воздух от процессорного кулера и выкидывал его наружу через отверстия в потолке.
Хотя вообще-то процессор и так практически не грелся. Я отключил авторазгон процессора, зафиксировав его на 3600. На этой частоте мне не удалось его разогреть выше 50 градусов стресс-тестом AIDA64 - а она хорошо процессоры греет. Может и не самая тяжелая работа, но ненамного отстаёт от prime95 или occt.
Жестким дискам я пока повесил два вентилятора, 120мм на переднюю стенку и 140мм на заднюю. Температуры дисков под нагрузкой в пределах 40 градусов - но и лето пока не началось. Если будет жарко - добавлю ещё один 120мм на переднюю стенку. А может и просто так повешу, когда появится лишний.
Все родные корпусные вентиляторы были трёхпиновыми, потому я их выкинул и заменил на четырёхпиновые. Встроенный в корпус переключатель скорости вентиляторов не использую.
Энергопотребление
Приблизительно измерил энергопотребление от розетки. Приблизительно - потому что это базовая конфигурация, в перспективе прибавится ещё жестких дисков, видеокарта и т.п. Пока же - Ryzen 3700@3.6GHz/32GB RAM/2xSSD, 6xHDD.
Компьютер выключен, воткнут в розетку, работает IPMI и хаб - 4-6 ватт.
При включении пиковое потребление - 120 ватт.
После загрузки, ничего не запущено, кроме самой ОС, все жесткие диски крутятся - 70-73 ватта.
Запущен массив, одна виртуалка, пара контейнеров - на холостом ходу, без активной работы - 80-83 ватта.
Проверка парити - 90-95 ватт (активность - чтение на все жесткие диски)
Стопроцентная нагрузка на все ядра - стресстест аиды плюс проверка парити - 120-125 ватт.
На холостом ходу, когда все диски остановлены - 42-43 ватта.
Три раскрученных диска - скорее всего, стандартное состояние будет - около 50-55 ватт.
Для сравнения - микросервер с xeon’ом 1265L потреблял примерно 70 ватт на холостом ходу (диски крутились, наверное, но их было 4+ssd) и в районе 110 под полной нагрузкой.
Конечно, это не NAS на ARM или шестиваттном целероне, но я знал, на что иду. В перспективе энергопотребление ещё подрастёт - когда добавлю ещё пару-тройку дисков, видеокарту, 10 гигабит. Думаю, что в пике может вырасти раза в полтора. Но реальное потребление будет ощутимо меньше, потому что под 100% загрузкой система нечасто работает.
Для простоты подсчётов, я считаю среднее потребление сервера за 100 ватт. По нынешним расценкам выходит около 300 рублей. Это, конечно, заметная часть семейных расходов за электроэнергию - я 1000 рублей плачу в месяц. Но в общей сумме «расходов на IT» - интернет, мобильники, всякие подписки, облака, белогривые лошадки - эти 300 рублей составляют не такой уж и большой процент. По крайней мере, это не то, с чего я буду начинать экономить, если возникнет такая необходимость.
Всякие аддоны и колхозинг
SATA-контроллер
Мне не хотелось тратить один из трёх слотов PCI-E на контроллер, потому, когда узнал о существовании SATA-контроллеров в слот M.2, сразу себе заказал. Поскольку мне пока не нужны скорости NVME-дисков и я вполне обойдусь SATA’шными SSD, поменять один из двух M2 на 5 SATA я решился без вопросов.
Здесь я в подробностях о контроллере рассказывать не буду, кому интересно - писал отдельный обзор на mysku.
Если вкратце, то работает. Заявленная максимальная скорость передачи данные - 1600-1700 мегабайт/сек. Достигается только в слоте gen3 x2. В слоте gen2 x4 работает на половинной скорости. Все пять портов работают, драйверов не требуется, грузиться с контроллера можно, TRIM на SSD поддерживается, во время работы заметно не греется, светодиоды зелёные. Так что вполне можно покупать и использовать, если требуется что-то подобное.
У себя я его всё же поставил в слот gen2 x4, где он работает на половинной скорости - до 900 МБ/сек. Но я планирую подключать к нему только жесткие диски второй корзины - и на четыре HDD этой скорости хватит с запасом. Пятый порт пока резервный. Первая корзина и SSD подключены напрямую к материнке.
Сеть
Там, где у меня стоит сервер, нет отдельного свитча, а стоит только пятипортовый роутер. Два порта - провайдеры, один порт идёт к телевизору, один порт - к свитчу на моём рабочем месте и в последний порт подключался сервер. Хоть у микросервера было две сетевых платы, я использовал только одну. ILO я тоже настроил так, чтобы оно работало через основной сетевой контроллер, а не через свой собственный.
Нынешняя материнка так не умеет, ей подавай на IPMI отдельный кабель. Но ставить ещё один свитч мне не хотелось, потому я взял маленький пятипортовый свитч, прикрутил его внутри корпуса, запитал его от БП сервера, подключил к нему материнку тремя короткими патчкордами, а четвёртый воткнул в свободный порт на роутере.
В будущем конструкцию переделаю - роутер побольше куплю или свитч на антресолях заведу, но пока поработает так. Пропускную способность не теряю - всё равно сервер висел бы на одном порту свитча.
USB
На материнской плате всего четыре USB-порта - два сзади, два на материнке - под подключение передней панели. Поскольку unraid грузится только с флэшки, один из портов пришлось бы «потратить» на неё. Но мне хотелось все внешние порты сохранить свободными. Потому купил на али пару переходников, простенький хаб и приколхозил его внутри корпуса, подключив к нему передние порты. А загрузочную флэшку воткнул в первый переходник - напрямую в материнку.
Переходник:
Хаб. Тут в перспективе планируется вентилятор, но, думаю, можно будет провода разместить так, чтобы они туда не лезли.
Да, у меня теперь четыре порта подключены к одному, но я сомневаюсь, что мне нужна будет полная пропускная способность USB на все эти порты сразу. Хаб пристроил в отсеке с жесткими дисками, чтобы был к нему доступ при необходимости, всё же там два порта осталось, можно какой-нибудь донгл воткнуть.
Конечно, идеально было бы заиметь именно внутренний хаб, типа Sabrent‘a:
Но их нигде нет, цена довольно высокая, а у китайцев я подобного не нашел. Видел только аналогичный на usb2.0 от nzxt.
Укладка кабелей
Сперва стеснялся показывать, но всё же решился. Корпус, в силу своей конструкции, не особо приспособлен для красивой укладки кабелей, но и всё в комок скручивать и пихать под корзину с жесткими дисками не хотелось.
Потому купил пару сорокасантиметровых кабелей питания SATA для БП на 4 разъёма. Родные кабеля метровые и там только 2sata+molex+fdd и 3sata+molex. А эти идеально подошли к корзинам, при этом длина вполне достаточная, чтобы спокойно вынимать корзины из корпуса.
И для тех же жестких дисков купил на али полуметровые SATA-шлейфы на четыре устройства. Они занимают гораздо меньше места, чем восемь обычных кабелей. Для SSD на передней панели использую два обычных шлейфа.
Отсек с материнкой. 140мм вентилятор встаёт близко к памяти, но при этом её не блокирует. На дне есть ещё пара установочных мест под жесткие диски, а у меня три свободных SATA. Так что рано или поздно тут что-то появится. Кабель питания материнки получился почти внатяг, но именно что почти - немножко свободы есть подключать и отключать можно спокойно. Конечно, можно было бы пустить его через большое отверстие сбоку, но я всё же предпочёл так. Кажется аккуратнее и не пересекается с SATA.
Отсек до подключения жестких дисков. Болтаюся SATA-шлейфы для корзин, на задней стенке по диагонали идёт восьмипиновый кабель на материнку, к нему пристриповано питание на свитч. Он питается от одного из родных кабелей питания БП (который 3sata+molex). От него же запитаны SSD на передней панели - благо кабель длинный. Излишки скрутил и зафиксировал на дне одной из родных стяжек (второй закреплён USB-хаб).
Отсек с жесткими дисками. Не идеально аккуратно, но гораздо лучше того клубка, который был с временным блоком питания (не модульным) и обычными SATA-шлейфами.
Жесткие диски над блоком питания. По отзывам я думал, что SATA-кабеля там на излом пойдут - но получилось вполне нормально.
Финансовое
Не буду расписывать по пунктам, но, учитывая все провода и вентиляторы, сервер мне обошелся примерно в 65 тысяч при запланированном бюджете в 50 тысяч.
Но, учитывая проданный Microserver и скидку в знакомом магазине, живыми деньгами я заплатил тысяч 10-15, что считаю очень выгодным вариантом за переход с Xeon E3-1265L/16GB на Ryzen 7 3700/32GB. Особенно учитывая, что из Xeon’a уже ничего нельзя было выжать, а у Ryzen’а достаточно велики возможности дальнейшего апгрейда. Я не учитываю тут стоимость unraid, потому что это отдельная статья расходов. Вполне можно было бы на это железо поставить любую другую ОС.
В следующей части будет про использование unraid - как именно я заменил функциональность старого сервера, какими программами.
Originally published at banshee.ms. You can comment here or there.