Супер рабочая станция
Прошел уже месяц, как сижу и пишу эти строки за штурвалом супер-компьютера новой рабочей станции.
Есть советский анекдот: в булочной пока старый хлеб не раскупят, свежий на полки не выкладывают, а на следующий день - все по новой, и бедные покупатели всегда едят старый. У меня с компьютерами такая же фигня - мучаешься от торомозов, наконец то закупаешь железо побыстрее-поновее, но уже поздно, прогресс уже далеко впереди, новые игрушки опять тормозят...
Конечно, сейчас в основном не до игрушек, нужно дело делать. И вот, свершилось, для работы резко понадобился компьютер, способный выполнить мега-проект сезона. Забегая вперед расскажу, что проект связан со съемкой и обработкой цифровой модели большого города, надеюсь про это смогу написать отдельную историю.
Первое включение "суперкомпьютера"
Слушайте техзадание на супер-компьютер (буду называть его именно так, но для коллег-зануд огворюсь, что в читать следует как "суперскиий компьютер", а не суперкомпьютер в классическом понимании).
1. Оперативная память - не менее 64ГБ на старте, с возможностью расширения.
2. Процессорная производительность - чем больше, тем лучше, но хотя бы 8 ядер. При этом все задачи распараллелены, т.е. максимально многоядерный процессор с низкими частотами предпочтительнее пиковой производительности одного ядра.
Хотелось бы процессор раза в 3 побыстрее уже существующего AMD Phenom II 3000Mhz c его 5300 попугаями.
3. Видеокарта, и помощнее. Более правильно будет сказать, что нужна возможность установки уже имеющийся "трехэтажной", занимающей 3 слота видеокарты GeForce GTX 780, купленной еще 3 года назад. Эх, надо было сразу начать на ней майнить... Но поезд ушел, и переводить электричество в валюту по ее себестоимости уже не актуально.
4. Жестких дисков и побольше. Это уже требование не требование, а больше пожелание к корпусу компьютера, поскольку вопрос с хранением данных и быстрым доступом хоть и крайне важен, но уже решен, как именно - читайте ниже.
Вышеперечисленное исходит из задач для суперкомпьютера:
- пакетная обработка фотографий
- создание цифровых моделей земной поверхности, это самая затратная на вычислительные ресурсы задача, особенно требуется оперативная память
- ну и прочие приятные и нужные "мелочи", типа обработки видео, обобщенного фотошопа, склейки панорам и работы ГИС программ.
Никакого майнинга, игр и прочих непотребств - задачи исключительно рабочей станции, чтобы трудиться вместе с ней в поте лица за клавиатурой и мышкой.
И да, самое главное - бюджет. Он ограничен $1000+ большое можно, но не нужно. Это только на процессор-материнку-блок питания-корпус. Диски с RAID контроллером имеются, во всяком случае на выбор не влияют, поскольку терабайты сохрянть придется и так, и эдак. Мощная видеокарта уже давно на руках.
После долгих скитаний по ебаем, бенчтест сайтам и бессонными ночам с мыслями о компьютере мечты были выбраны следующие варианты платформ:
Номер 1, пусть называется "в ногу со временем" на сокете LGA2011-3 и с 8 ядерным процессором от Интел.
Intel Core i7-5960X - 75 000р.
Более-менее приличная материнка под сокет LGA2011-3 от 15 000р.
4x16Gb DDR4 - от 36 000р.
Итого, за 16000 попугаев нужно отдать 126 т.р., что в переводе на наши составляет $2150.
Че-т дороговато, ищу варианты дальше. Решил присмотреться к платформам предыдущего поколения, процессоры сейчас устаревают не так быстро, и "камень" пятилетней давности, особенно из мира серверов, может оказаться побыстрее и дешевле нового, но со средними характеристиками. А еще бывают двухпроцессорные системы, вот смотрите:
Номер 2, под названием "двухпроцессорный AMD".
Помня, что уже больше 20 лет в моих домашних машинах трудились AMD процессоры, думаю о вечном конкуренте Интела. Хотя понимаю, что софт, указанный в ТЗ выше совершенно точно оптимизирован под архитектуру Интел.
2xAMD Opteron 63xx, например 2 шт 6380 2500Mhz могут стоить около 20 000р. на ebay, ссылку не даю, легко найдете сами. Ну и торговаться не забывайте, 2 штуки - это по местным меркам опт и цена доставки будет как за один )
Материнская плата Asus KGPE-D16 - 17 000р., ищите там же, в интернетах )
4x16GB DDR3 ECC REG 1333MHz - 20 000р.
Итого, за чуть меньше 14000 попугаев нужно отдать около 57 000р на текущий момент, или практически $1000. Ура, в бюджет укладываюсь!
Но нужно посмотреть еще и зверь-машину с двумя камнями от фирмы Интел.
Итак, номер 3 с рабочим названием "двухпроцессорный Интел"
2x Intel Xeon X5675 @ 3.07GHz. 12 ядер, 24 потока - и все удовольствие за 10 000р. Неплохо!
Вообще хотел изначально старший в линейке X5690, как забегая вперед, взял менее горячие процессоры.
Материнка, Supermicro X8DTN+-F - 22 000р.
4x16GB DDR3 ECC REG 1333MHz - 20 000р.
Итого, за 12 ядер от Интела - 52 000р.
Выбрал, конечно же, последний вариант с двумя Интелами, как более "близкими" к софту раз, и как самый недорогой вариант, два. В итоге, сторговавшись с продавцом серверного железа из Латвии (не реклама!), взял комплект:
- 2x Intel Xeon X5675,
- Supermicro X8DTN+-F и
- 6x16GB DDR3 ECC REG 1333MHz памяти (это 96 Гб!)
за смешные $900 с доставкой EMSом.
Ожидание было недолгим, EMS из ближней Европы идет где-то неделю.
Процессор Xeon X5675 на своем месте
Отдельно пришлось докупать блок питания, взял б/у на 850вт, дешевые, но тихие радиаторы, и корпус от древнего сервера неизвестной марки Kraftway(хы). На все вкруг ушло еще 6000р.
Однако не все так просто, с корпусом пришлось помучиться. Типоразмер Supermicro X8DTN+-F - Enhanced Extended ATX (347x330мм). Это на 42мм шире, чем "простой" Extended ATX (305 × 330мм), на которые рассчитаны практически все корпуса, включая серверные. В результате даже в огромный, по меркам обычных системных блоков, корпус материнская плата не влазила.
Подготовленный корпус для установки супербольшой материнки формата EE-ATX
Что делать? Применять авиационно-хоббийные технологии, а именно дрель, бор-машинку и синюю изоленту.
Насверлил отверстия под EE-ATX плату, поставил в них, для исключения замыканий, нейлоновые столбики под М3 болт. Сдвинул на пол-сантиметра вверх бок питания. Получилось вот так:
Все уместилось впритык, и это без дисковой корзины.
Дисковая тоже требуется компьютеру. Хорошо, что 3 диска имелись, но SSD и еще один WD пришлось закупить.
4 диска для массива.
Внуть поставлен контроллер HP Smart Array p410. Смело рекомендую, во первых, крайне дешев на ebay, во вторых быстр как ветер, ибо на борту - 512Mb или 1Gb кеш памяти. Настраивается легко. И не забудьте в комплекте взять пару кабелей Мini SAS to SATA, чтобы к нему подключать обычные SATA диски.
ЗЫ. Да, кстати, кто знает к нему ключ, чтобы включить доп. опциии, типа RAID6, скиньте номер, будьте человеками!
Этот ключ называется HP Smart Array Advanced Pack.
Настроен RAID 5 массивом из 4х дисков WD Blue 3Tb. Т.е. в активе 8.4 честных терабайт. Маловато (половину за месяц забил, ужас!), надо еще столько же, и еще для архивирования пару дисков на 8Tb.. Но потом.
У контроллера моего только один недостаток - пока отсутствует батарея кеш-памяти, т.е. кеширование записи данных на диски отключёно. Что радикально, на порядок, снижает скорость записи данных (со скоростью чтения, и линейного и случайного - все в порядке). Надо бы прикупить батарейку... И устроить бенчтест дисков.
Корзину тоже пришлось пилить, и в нее вместо 6, уместилось лишь 4 жестких диска.
Переходим в раздел тестирования.
PassMark Perfomance Test выдает точно соответствующие статистике 12700 "попугаев". На текущий момент это быстрее, чем у 96% пользователей в мире. Неплохо, но могло быть лучше,(но раза в два подороже за полпроцента).
12752 попугая. Если исключить одноядерный тест - то скорость обработки как раз 3 раза больше 4х ядерных процессоров Intel аналогичной частоты.
Тест номер два, сугубо практический. Экспорт 529 RAW снимков из Lightroom в JPG с кучей настроек.
Самый быстрый из рядом стоящих компьютеров, Intel core i7 2600 3.4Ghz c 16Gb памяти (в память задача не упирается)
64м:40с
2xXeon X5675 3.07Ghz с 96Gb
27м:30с
Ускорение в 2.4 раза, неплохо для типовой задачи, ради которой и собирался компьютер.
Обработка цифровых моделей также показало существенную разницу, в зависимости от настроек от 2 до 3 раз.
Неплохо для "семерки", все "попугаи" в самом верху.
Но самое главное здесь другое, это объем оперативной памяти. Именно ее наличие позволило обработать цифровую модель местности города Первоуральск из 15 000 (пятнадцати тысяч) снимков. Хотя все равно пришлось разбивать модель на 4 части, потом обратно "склеивать" (надо было брать сразу 192Гб,хы). На "обычном" компьютере с 32Гб оперативки (тот же процессор Core i7 2600 не поддерживает больше 32Гб в принципе) цифровую модель больше чем из 2-3 тысяч снимков никак не сделать.
И установленные 96Gb вовсе не предел, можно еще два раза по столько же поставить, и, относительно современной DDR4, совсем занедорого.
Общий вид всего "железа" суперского компьютера.
Общий вывод - рабочая станция, тьфу-тьфу, что надо, работает быстро, и стоит недорого - чего и вам желаю.
Вот так выглядит над столом "супер-компьютер".