ЦОД Сибирского филиала «МегаФон»
Важную часть инфраструктуры любой IT и телекоммуникационной компании составляют центры обработки данных или DATA-центры - специализированные площадки, на которых размещается серверное и телекоммуникационное оборудование, обеспечивающее обработку и хранение информации.
По приглашению компании "Мегафон" 10 сентября в рамках пресс-тура я посетил один из крупнейших за Уралом центров обработки данных, принадлежащий Сибирскому филиалу ОАО «МегаФон» в Новосибирске.
2.
Центр обработки данных "МегаФона" находится в одном из множества складов, в промзоне левобережной части Новосибирска. Его открытие состоялось в декабре 2009 года. Строительство объекта заняло чуть менее 1,5 лет, а инвестиции в проект составили 800 млн. рублей. Это один из самых крупных в Сибири дата-центров. Для "Мегафона" он стал вторым по объемам и мощности (самый крупный находится в Самаре).
3.
Участники пресс-тура - журналисты и блогеры текстовых и интернет-изданий со всей Сибири.
4.
Сотрудники пресс-службы "Мегафон" Михаил и Мария опекали нас весь день и рассказывали, рассказывали, рассказывали...
Через этот центр проходят все звонки, смс, отсюда абоненты получают дополнительные услуги и возможность выходить в интернет.
5.
Оказавшись внутри, понимаешь, что все здесь серьезно. Объект усиленно охраняется. Доступ в здание ограничен, а по всему периметру располагаются камеры видеонаблюдения. Разумеется, о красоте и комфорте здесь тоже не забыли.
Обязательное условие входа на территорию - бахилы! Пыль - главная проблема для ЦОДа, и, конечно, нужно сохранять чистоту.
Основных автозалов два. Первый - для коммутационного оборудования связи и вычислительного оборудования. Второй - для серверов компании "МегаФон" и сторонних организаций. Помимо автозалов в дата-центре много инфраструктурных помещений: для источников бесперебойного питания, систем автоматического газового пожаротушения, систем подготовки хладогентов (вентиляционная, насосная), для электропитающих установок, складские помещения ЗИП и другие.
6.
Общая площадь - 2000 кв.м., два автозала.
Мощность объекта - 1,6 МBт. В настоящий момент увеличивается до 2,4 МВт.
Количество стоек - до 120 в автозале ИТ и до 160 - в автозале ТД.
Театр начинается с вешалки, а ЦОД - с электричества.
7.
Мощность новосибирского дата-центра составляет 1,6 МВт. Питается он от двух трансформаторов мощностью 2 МВт каждый. Причем, электроэнергия доставляется из двух независимых источников.
Автозал с телекоммуникационным оборудованием должен работать бесперебойно в самых непредсказуемых условиях. Так, данные батареи смогут поддержать работу оборудования до 8 часов. Это если резервные источники питания в виде дизельно-генераторных установок не запустятся, или топливо не успеют подвезти. Всего их две. Суммарная мощность - 1,9 МВт. Они смогут обеспечить работу всех систем при максимальной загрузке в течение 6-8 часов без дозаправки топливом.
8.
9.
Оборудованию, работающему 24 часа 7 суток в неделю 365 дней, нужно постоянное кондиционирование. Оно осуществляется с использованием чиллерных установок.
Охлаждение происходит за счет температуры окружающей среды. А охлаждающие компрессоры включаются только когда на улице теплее -5 градусов. Поскольку в Сибири холода стоят большую часть года, компрессор включается редко. Получается, что работа чиллеров позволяет существенно экономить электроэнергию.
В это помещение заходит холодная вода из чиллеров. Далее она поступает в систему кондиционирования.
На случай полного выхода из строя чиллерной установки в системе предусмотрены два резервуара с водой по 800 литров. Вода в них поддерживается в постоянной температуре +7 градусов, этого хватит для автономной работы дата-центра в течение 15 минут. Этого времени хватит для того, чтобы корректно завершить работу всех серверов.
10.
Оборудование постоянно поставляется... Технологии летят вперед стремительно!
11.
Автозал коммутационного оборудования связи и вычислительного оборудования. Тут прохладно и шумновато: работает вентиляция.
12.
Оборудование в основном Huawei. Но и всех основных производителей оборудования тут тоже можно найти.
13.
К дата-центру проведено несколько независимых территориально разнесенных волоконно-оптических вводов. В целом это позволяет организовать пропускную способность транспортной сети для данного объекта более 400 Гбит/с.
Оптический кросс очень плотно заполнен: все на оптоволкне.
14.
В одном из этих компьютеров живёт та самая девушка, которая произносит знакомую каждому фразу: «Абонент не отвечает или временно недоступен».
15.
А вот для меди кросс почти пуст.. Это уже прошлый век.
16.
Внутри автозала может быть установлено до 240 шкафов . В здании реализуется 100% резервирование по энергообеспечению, климат-контроль и автономность энергообеспечения в случае чрезвычайных ситуаций.
17.
Во всех залах установлены герметичные двери и специальная система точечного тушения возгораний, которая не останавливает работу оборудования во всем автозале, а только в отдельной ее части. При строительстве объекта добивались максимальной несущей способности перекрытий здания 2,5 тонны на кв. м., и это удалось осуществить.
18.
На площадке центра организован узел магистральной мультисервисной сети с применением оборудования DWDM, использующего технологию спектрального уплотнения. Эта технология позволяет передавать несколько потоков информации по одному оптическому волокну и дает возможность увеличить пропускную способность канала в сотни раз.
19.
«От здания, которое наша компания купила в 2008 году, по сути остались только стены. Мы проделали большую работу, чтобы наш объект стал соответствовать самым высоким нормам и правилам эксплуатации ЦОДов».
20.
Дата-центр оснащен современными системами газового пожаротушения. Баллоны с газом хладоном расположены в нескольких помещениях. При этом система пожаротушения проведена как под фальшпотолком, так и под фальшполами.
21.
В качестве огнетушащего вещества применяется Хладон 318Ц. Система пожаротушения устроена так, что она не сработает, если в помещении находятся люди. Но на всякий случай в помещениях имеются самоспасы.
Хладон вытесняет кислород, тем самым не позволяет огню гореть. И в отличие от фреона он экологический: не разрушает озон.
22.
Система бесперебойного питания для автозала ИТ - на базе двух APC Symmetra MW 800 kW. Уровень резервирования 2N+1. ИБП смонтированы в отдельных помещениях с автономными системами пожаротушения.
23.
Автозал с серверами. Тут хранится информация об абонентах, их история... 5 шкафов с правой стороны на этой фотографии служат "зеркалами" для популярной онлайн-игры World of tanks. Это помогает уменьшить пинг - время отклика в игре.
24.
А где трубы охлаждения, кабели связи и система пожаротушения? Они спрятаны под фальшполом и фальшпотолком.
Фальшполы - места для непосредственной установки оборудования и одна из главных характеристик объектов подобного типа - составляет более 1000 кв. м. Высота потолков на объекте - 12 метров. В эту цифру также входят фальшпотолок и водоотводящая мембрана. На случай затопления фальшпол сделан под наклоном. То есть вода будет стекать в сточную канализацию.
25.
Михаил поделился очень важной проблемой: уничтожения жестких дисков. Соблюдение конфиденциальности и сохранение персональных данных абонентов в соответствии с законодательством - это головная боль для любой компании. Жесткие диски, вышедшие из строя, физически уничтожаются до состояния опилок, чтобы наверняка.
Вообще, обеспечение физической и виртуальной безопасности - разумеется, приоритетные задачи... Так, в случае DDoS-атаки система может переключиться вообще на другой ЦОД, если защитные системы перестанут справляться, но организация такой атаки очень затратна для злоумышленников, и пока она не встречалось.
26.
Автозал оборудован системой кулеров для циркуляции воздуха, и чтобы владельцы длинных причесок могли получить эффектные кадры.
Благодаря максимально грамотным техническим и инженерным решениям ЦОД получился очень крутым и надежным.
Оформлено с помощью «Обрамлятора»