В сердце Курчатовского, рядом с реактором, среди серверов...
Побывал недалеко от атомного реактора, в дата-центре, где находятся серверы нескольких очень известных компаний, прямо в сердце Курчатовского института. Меня заранее предупредили, что на подходе к объекту не то что фотографировать, а даже камеру доставать не стоит - это может вызвать закономерную, предсказуемую и логичную реакцию известных структур, охраняющих институт. Но внутри, уже на территории, после прохождения контроля, в самом дата-центре, фотографировать можно. Под катом небольшой фоторепортаж.
За многие годы, которые я занимаюсь информационными технологиями, довелось побывать в самых разных ДЦ, от полуподвальных прокуренных комнатушек до мест, похожих на Матрицу. Да и не только бывать - к сожалению, приходилось и размещать сервера в "простых" ДЦ, таких где админы уходят на выходные, где работают до шести, путаясь в своих же серверах, куда невозможно попасть в случае проблем с твоим сервером в праздничные дни. Я сталкивался с дата-центрами, в которых не хватало электричества на подключение ещё одного сервера, работал с ДЦ где это электричество пропадало по несколько раз на дню, и ни у кого из сотрудников это не вызывало удивления.
Почему те шарашки назывались "дата-центрами" я сегодня уже и понимать не хочу, и никому не советую таких экспериментов, выжигающих начисто нервы. Мне когда-то через многое прошлось пройти эмпирически, и поверьте, когда стабильный сервер нестабильно работает из-за косяков ДЦ это тот ещё кошмар.
Итак, что же такое, современный дата-центр, место, где длинными рядами в стойках должны стоять сервера и работать, работать и вырабатывать? Фактически, это целое высокотехнологичное предприятие, приоритетом которой является обеспечение надёжной работы всех подсистем, с многократным дублированием, резервированием электропитания и даже автономными, независимыми от города, энергогенераторами, с современной газовой системой пожаротушения, с ограничением доступа на нескольких физических уровнях. Воспользовавшись приглашением компании Safedata провёл осмотр дата-центра "Москва II".
Для доступа внутрь потребуется пройти три периметра охраны. На первом КПП "вертушка" позволяет протиснуться одному человеку за раз, доступ по смарт-картам.
1.
Весь периметр объекта, как снаружи, так и внутри, просматривается многочисленными камерами слежения, в том числе и купольными. Особо снимать камеры не стал, обычно на режимных объектах это не приветствуется.
2.
Собранная камерами информация передаётся на пульт охраны, где идёт круглосуточное дежурство. Также, здесь расположены места специалистов, занятых техническим мониторингом.
3.
4.
Современному дата-центру требуется уйма электроэнгергии, и питание должно быть не только бесперебойным, но и дублироваться резервными системами. Энергия поступает вход по двум 5-мегаваттным независимым энерговводам. В случае отказа любого из них, если в столице откажет энергосеть, в дело вступит комплекс автономных дизель-генераторов. Все вместе они могут, всего за 24 часа, употребить свыше 30 тонн солярки, поэтому система оснащается огромным центральным резервуаром и автономными баками, по тонне каждый, для дизельного топлива.
При необходимости, резервуар может быть пополнен, и для разгрузки дизелевозов предназначена специальная площадка, с набором приёмных труб с разными "байонетами". Какой бы системы дизелевоз не прибыл, топливо из него можно будет принять:
5.
Приёмник, конечно, закрыт на замок, но ради фоторепортажа его открыли и продемонстрировали...
6.
...приёмники для труб дизелевозов разных систем. Я и не знал, кстати, что эти системы бывают разными. Темнота внутри полнейшая, для камеры ( но не для глаз), и тени пришлось сильно тянуть.
7.
Обычный ИБП, для компьютера, позволяющий ему поработать ещё с полчаса, если пропало электричество, выглядит как небольшая коробка с аккумуляторами внутри, к которой кабелем подключается системный блок. Для питания дата-центра никаких аккумуляторов не хватит, поэтому здесь системе резервного питания отдан целый корпус. Внутри находится восемь дизель-роторных динамических источников бесперебойного питания (ДРИБП).8.
Каждый выглядит как система из огромного дизельного двигателя, кинетического модуля и синхронного генератора. Вкратце, суть такова - электричество поступает на синхронный генератор, работающий как двигатель для кинетического модуля, который в процессе работы накапливает кинетическую энергию (проще говоря, если мотор выключится, он продолжит вращаться). При пропадании энергии синхронный генератор из двигателя превращается в генератор электричества, а вращение кинетического модуля происходит от дизельного мотора. В обычном режиме работы синхронный генератор выполняет функцию стабилизатора и фильтра напряжения: устраняет гармонические искажения и короткие перебои, импульсы помех, нивелирует скачки и провалы напряжения городской электросети. Благодаря ему частота и амплитуда выходного напряжения, подаваемого на нагрузку, неизменно стабильны. Подробнее об этом рекомендую почитать в детальной статье о ДРИБП.
9.
В дата-центре "Москва II" установлены ИБП HiTec Power Protection, состоящие из дизельного двигателя Mitsubishi с электронной педалью газа, генератора Stamford и индукционного накопителя. Только после того как накопитель раскрутится до 1500 оборотов в минуту специальная муфта обеспечит сцепление с двигателем.
10.
Внутри помещения с дизельными моторами шум физически непереносимый, даже если работает всего одна машина. Без затычек в ушах находиться там даже пару минут очень сложно, а выйдя на улицу ещё долго восстанавливаешь слух.
11.
У стены закреплены автономные баки с топливом для каждого дизельного двигателя, в каждый такой бак помещается по тонне горючего. Как я уже написал выше, помимо этих баков есть центральный резервуар, из которого топливо, при помощи специальных насосов, перекачивается в эти баки.12.
13.
А вот и сам дизельный мотор. В принципе, классическая конструкция. Как я понял, с впуском Common Rail решили не ставить, исходя из соображений максимума надёжности и ремонтопригодности. Дополнительная подстраховка никому не мешает.
14.
15.
В синем кожухе индукционные накопители:
16.
В одном здании с дизельными машинами располагается "главный распределительный щит" - отдельное помещение, со стойками компании Shneider Electric.
17.
18.
19.
Плакаты "Не влезать, убьёт!" я видел много раз. Версию "влезать здесь" раньше видеть не доводилось ;-)
20.
21.
При необходимости персонал может взять соответствующие таблички из "банка":
22.
Большая красная кнопка выключения большого шкафа была закрыта специальным кожухом, чтобы случайно никто не мог нажать, но я попросил открыть. Ещё обратил внимание, что повсюду видны датчики задымления и трубы подачи газа системы пожаротушения. О них расскажу чуть ниже, когда пойдут фотографии из "серверной" части дата-центра.
23.
Серверная часть построена по принципу "дома внутри дома", в том числе, для обеспечения лучшей безопасности как физической, так и пожарной. То есть, слева каменная стена здания, а справа стена модуля, внутри которого стоечные шкафы с серверами и другим оборудованием:
24.
Перед входом в "машинный зал" в обязательном порядке нужно принять душ...
25.
26.
...и одеть бахилы. Ладно-ладно, про душ я пошутил. Это "удобства" для сотрудников дата-центра, а не обязаловка для посетителей.
27.
Прочитав надпись на листочке я уже ожидал увидеть диспенсер с шариками, внутри которых будут старые-добрые синие бахилы, как в больницах, но реальность оказалась более высокотехнологичной.
28.
Окрестил это устройство "бахилятором" - ставишь на плёнку ногу, а она запаивает плёнку горячим воздухом. К счастью, в этот день я не догадался надеть шлёпанцы. Интересно, с какой температурой дует из устройства? Бахилы получаются, кстати, моментально и они надёжно держатся на обуви. Вот такие штуки и нужно ставить в медицинских заведениях, пусть даже с прорезью для монеток.
29.
Наконец, я внутри "серверной" и вижу знакомые стоечные шкафы, которые можно набивать юнитами по самый потолок. Всего в дата-центре "Москва II" предусмотрено четыре зала для установки оборудования, которые смогут вместить до тысячи серверных шкафов. В каждый шкаф, в свою очередь, помещается до 47 юнитов.
30.
Сразу бросилась в глаза табличка Rambler. Интересно, какая часть сервиса находится именно здесь?
31.
Некоторые клиенты заказывают "дополнительную защиту" - это когда вокруг шкафов с оборудованием, которые сами по себе оснащены замками, предотвращающими несанкционированный доступ, строится забор. На мою шутку о колючей проволоке экскурсоводы даже не улыбнулись и пояснили, что клиент не самый суровый - у некоторых забор идёт до самого потолка, чтобы даже со стремянки залезть нельзя было.
32.
Температура и влажность в помещении контролируется педантично, причём кондиционирование построено по принципу избыточности - прецизионные кондиционеры HiRef установлены с запасом, и на несколько рабочих модулей приходится один запасной.
33.
Во всех серьёзных центрах обработки данных используется классическая система "горячего и холодного коридора". Стоечные шкафы устанавливаются "лицом к лицу", образуя коридор, в который из-под фальшпола, через решётку, подается холодный воздух. По стандарту, перед каждым шкафом должна располагаться одна перфорированная плитка для подачи холодного воздуха на лицевую часть шкафа. Как мне пояснили, перфорация плитки тоже бывает разной, и при необходимости, могут использоваться плитки с бОльшим или меньшим размером отверстий, для регулировки температурного режима.
34.
Вот так и выглядит коридор. Воздух, нагретый установленной в шкафах техникой, поднимаетс наверх и попадает в систему кондиционирования, где вновь охлаждается и поступает под фальшпол.
35.
Просто фотография "через шкаф" - показалось красивым, как в боке рисуются светодиоды сервера с ячеистой структурой.
36.
Возвращаясь к защите, отмечу, что не только каждый шкаф оснащён собственным ключом для защиты от несанкционированного доступа...
37.
...но и вся "клетка" оборудована специальным замком, также с уникальным ключом. Ох, сколько я видел дата-центров, в которых к серверу может подойти любой желающий. Поставь рядом с конкурентом свой сервер и заходи, твори что хочешь.
38.
Магистраль подачи газа системы пожаротушения. Конечно же, технику не тушат водой, для этого используется специальный состав. Ниже будут фотографии из отсека системы пожаротушения.
39.
Электромагистраль, типовая розетка для подачи энергии модулям:
40.
Шахта, в которую идёт вывод кабелей данных от стоек в модуле. Ещё в них, обычно, хранят запасы необходимых типов кабелей и некоторый инструмент. Мне пояснили, что "Москва II" соединяется с площадками ММТС-9 и ММТС-10 собственными оптоволоконными каналами.
41.
Продолжил экскурсию по дата-центру...
42.
На подходе к комнате с пассивным оборудованием обратил внимание на кабель-каналы под потолком:
43.
Внутри зала с пассивным оборудованием:
44.
45.
46.
47.
Специаьные направляющие для кабелей. Здесь и оптоволокно, и витая пара:
48.
Одним из последних пунктов на маршруте был отсек системы пожаротушения, в котором установлены баллоны со специальным газом:
49.
50.
Запомнил, что в случае пожара газ подаётся из баллонов в строгой очерёдности, чтобы не разорвало магистрали, а переаттестация газобалонного оборудования производится систематически. Что интересно, в отличие от другой техники, система пожаротушения отечественная. ДЦ не пройдёт сертификацию, если установит импортные аналоги.
51.
Шланги подачи от баллонов в магистраль:
52.
Неподалёку расположились "кабинеты" для специалистов крупнейших клиентов. Если кому-то понадобится поработать с серверами, то можно использовать терминальное оборудование, находящееся в этих залах. Внутрь попасть не удалось.
53.
Перед уходом заглянули на крышу, чтобы посмотреть на финальный элемент системы кондиционирования - конденсаторные блоки, занявшие почти всю крышу.
54.
И ещё мне показали лифт, на котором можно поднять пять тонн груза. К осени в "Москве II" введут в строй вторую очередь машинных залов, и дата-центр сможет выйти на полную мощность.
55.
Закончить фоторепортаж хочу граффити, замеченное неподалёку от Курчатовского:
56.
На этом благодарю компанию Safedata, а также лично начальника отдела маркетинга Дмитрия Егорова и начальника службы эксплуатации Евгения Громова за возможность посетить дата-центр и проведённую подробнейшую экскурсию. Оглох, замёрз и вообще получил массу удовольствия ;-)
P.S. Ремарка для постоянных читателей блога, интересующихся фотографией. Весь репортаж, в порядке эксперимента, отснял на Fujifilm X-M1, по которой сейчас готовлю видео-обзор. Снимал на "китовый" 16-50 со стабилизатором и светлый 35mm f/1.4, заменяющий "полтиник". На экскурсию в ДЦ мне советовали взять с собой штатив, сказав что света внутри немного. На некоторых снимках ISO довольно высокий, скажем, на фотографии с лифтом зашкалило до 3200 единиц, что при 1/15 секунды кромешная темнота, есть пара кадров на ISO 2000 и 1250. Проверку боем, в условиях острого недостатка света, камера прошла достойно ;-)
Другие мои фоторепортажи:
- Внутри и за штурвалом ТУ-144: попасть в сверхзвуковой пассажирский самолёт непросто
- Куда пропали люди с Богучанской ГЭС: огромный зал пятой по мощности ГЭС России, работают машины, а людей...
- Дом Мегафона в Олимпийском парке: тут показывали 4G на скорости в 300 мегабит и создавали лица людей в 3D во всю стену
- Закат. Сочи. 2014.
- Как Эстафета Олимпийского огня доехала до Сочи: из цикла постов #эстафетаогня, моё путешествие по всей России