Ars Technica (США): подводное волокно, мозги в банках и коаксиальные кабели
13.06.2020 г.
Боб Дормон (Bob Dormon)
ЧАСТЬ 2
( НАЧАЛО)
Ars Technica, США
Всего лишь щелчок мыши или нажатие на экран и, если у вас соединение 21 века, вы мгновенно оказались на этой странице. Но как это работает? Думали ли вы когда-нибудь о том, как картинка с котиком попадает на ваш компьютер в Лондоне с сервера в Орегоне? Как удается стабильно передавать вам в дом сто миллионов байтов данных каждую секунду, круглые сутки, каждый день? Автор открывает читателям невидимую обыденному взгляду инфраструктуру глобальной Сети
© РИА Новости, Максим Богодвид
Тестируя подводные кабели
С одной стороны располагается поверхность, на которой лежит оборудование для тестирования, и поскольку, как говорится, глаза - лучший свидетель, один из техников погружает оптоволоконный кабель в EXFO FTB-500. Оно оборудовано модулем спектрального анализа FTB-5240S. Само устройство EXFO работает на платформе Windows XP Pro Embedded и оснащено сенсорным экраном. Оно перезагружается, чтобы показать установленные модули. После этого можно выбрать один из них и запустить доступную процедуру диагностики.
«Ты просто отводишь 10% светового потока из этой кабельной системы, - объясняет техник. - Ты создаешь точку доступа для устройства спектрального анализа, так что потом можешь вернуть эти 10% обратно, чтобы проанализировать сигнал».
Мы смотрим на магистрали, протянувшиеся до Лондона, и, поскольку этот отрезок находится в разгаре процесса вывода из эксплуатации, можно увидеть, что на нем есть неиспользуемый участок, появившийся на дисплее. Устройство не может более детально определить, о каком объеме информации или отдельной частоте идет речь; чтобы узнать это, приходится смотреть частоту в базе данных.
«Если вы посмотрите на подводную систему, - добавляет он, - там тоже полно боковых полос частот и всяких других вещей, поэтому можно увидеть, как устройство работает. Но при этом вы знаете, что случается смешение показаний прибора. И вы можете увидеть, не перемещается ли оно на другую полосу частоты, что понижает эффективность функционирования».
Никогда не покидавший ряды тяжеловесов систем передачи информации, универсальный роутер Juniper MX960 выступает в роли стержня IP-телефонии. На самом деле, как подтверждает Джон, у компании их два: «Нам скоро привезут всякие штуки из-за океана, и потом мы сможем запустить STM-1 [Синхронный транспортный модуль уровня 1], GigE, или 10GigE клиенты - это выполнит своего рода мультиплексирование и позволит обеспечить IP-сетями различных потребителей».
Оборудование, использующееся на наземных платформах DWDM, занимает намного меньше пространства, чем подводная система кабелей. Похоже, оборудование ADVA FSP 3000 - практически то же самое, что Ciena 6500 kit, однако, поскольку оно установлено на суше, качество электроники не должно быть высокого уровня. На самом деле, использующиеся полки аппарата ADVA - просто более дешевые версии, так как он работает на более коротких дистанциях. В системах подводных кабелей есть такое соотношение: чем дальше ты отправляешь информацию, тем больше появляется шумов, поэтому растет зависимость от фотонных систем Ciena, которые устанавливаются в месте закладки кабеля, чтобы компенсировать эти шумы.
Одна из телекоммуникационных стоек содержит три отдельные системы DWDM. Две из них подсоединены к лондонскому центру отдельными кабелями (каждый из которых проходит через три усилителя), а оставшийся ведет к центру обработки информации, расположенному в Бакингемшире.
Место закладки кабеля также предоставляет участок Западно-африканской кабельной системе (WACS). Она построена консорциумом примерно из десятка телекоммуникационных компаний и доходит до самого Кейптауна. Подводные блоки разветвления помогают разделить кабель и вывести его на поверхность в различных местах побережья африканской части Южной Атлантики.
Энергия кошмаров
Вы не можете посетить место закладки кабеля или центр обработки информации и не заметить, насколько там необходима энергия: не только для оборудования в телекоммуникационных стойкахк, но и для охладителей - систем, которые предотвращают перегревание серверов и коммутаторов. И поскольку место закладки подводного кабеля обладает необычными энергетическими требованиями из-за своих подводных ретрансляторов, резервные системы у него тоже не самые обычные.
Если мы зайдем в одну из аккумуляторных, вместо стеллажей с запасными аккумуляторами ИБП (источник бесперебойного питания - прим. ред.) Yuasa - формфактор которых не особенно отличается от тех, что можно увидеть в машине - мы увидим, что комната больше напоминает медицинский эксперимент. Она уставлена огромными свинцово-кислотными аккумуляторами в прозрачных резервуарах, выглядящими как мозги инопланетян в банках. Не требующий технического обслуживания, этот набор аккумуляторов на 2 В с продолжительностью жизни в 50 лет в сумме дает 1600 А*ч, обеспечивая 4 часа гарантированной автономной работы.
Зарядные устройства, которые, по сути, являются выпрямителями тока, обеспечивают напряжение холостого хода для поддержания заряда аккумуляторов (герметичные свинцовокислотные аккумуляторы должны иногда подзаряжаться на холостом ходу, иначе со временем они теряют полезные свойства из-за т.н. процесса сульфатации - прим. ред.). Они также проводят напряжение постоянного тока для стеллажей к зданию. Внутри комнаты находятся два источника электроснабжения, размещенные в больших синих шкафах. Один питает кабель Atlantic S1, другой - Portugal C1. Цифровой дисплей показывает 4100 В при силе тока приблизительно в 600 мА для атлантического источника электроснабжения, второй показывает чуть больше 1500 В при 650 мА для источника электроснабжения C1.
Джон описывает конфигурацию:
«Источник электроснабжения состоит из двух отдельных конвертеров. У каждого из них есть три степени мощности, и он может подать 3000 В постоянного тока. Один этот шкаф может питать целый кабель, то есть у нас n+1 запаса, поскольку у нас их два. Хотя, скорее даже n+3, потому что даже если в Нью-Джерси упадут оба конвертера, и еще один здесь, мы все равно сможем питать кабель».
Раскрывая некоторые весьма изощренные механизмы переключения, Джон объясняет систему контроля: «Вот так, по сути, мы это включаем и выключаем. Если есть проблема с кабелем, нам приходится работать с кораблем, который занимается починкой. Существует целый набор процедур, которые мы должны проделать, чтобы удостовериться в безопасности, прежде чем команда корабля начнет работу. Очевидно, напряжение так высоко, что является смертельным, поэтому нам приходится отправлять сообщения об энергетической безопасности. Мы отправляем уведомление о том, что кабель заземлен, а они отвечают. Все взаимно соединено, поэтому можно удостовериться в том, что все безопасно».
На объекте также есть два 2 МВА (мегавольтамперных - прим. ред.) дизельных генератора. Конечно, поскольку все продублировано, второй - запасной. Там есть и три громадных охлаждающих аппарата, хотя, по-видимому, им необходим только один. Раз в месяц запасной генератор проверяется без нагрузки, а дважды в год все здание запускается при нагрузке. Поскольку здание также является и центром обработки и хранения данных, это необходимо для аккредитации на соглашение об уровне услуг (SLA) и международной организации по стандартизации (ISO).
В обычный месяц на объекте счет за электричество легко достигает 5 цифр.
Следующая остановка: дата-центр
В бакингемширском дата-центре существуют похожие требования к объемам резервов, хоть и другого масштаба: две гигантские колокации (колокация - услуга, заключающаяся в том, что провайдер размещает клиентское оборудование на своей территории и обеспечивает его работу и обслуживание, что позволяет сэкономить на организации канала связи от провайдера до клиента - прим. ред.) и управляемые хостинговые холлы (S110 и S120), каждый из которых занимает квадратный километр. Темное оптоволокно (неиспользуемые для передачи данных волокна оптического кабеля, которые служат в качестве резерва - прим. ред.) соединяет S110 с Лондоном, а S120 соединено с местом выхода кабеля на западном побережье. Там расположены две установки - автономные системы 6453 и 4755: многопротокольная коммутация по меткам (MPLS) и межсетевой протокол (IP)
Как следует из названия, MPLS использует метки и присваивает их пакетам данных. Их содержание изучать не требуется. Вместо этого решения об отправке пакета принимаются на основе содержания меток. Если вы хотите детально изучить как работает MPLS, то MPLSTutorial.com - хорошее место для начала.
Аналогичным образом, TCP/IP Guide Чарльза Козиерока - отличный онлайн-ресурс для тех, кто хочет узнать больше о TCP/IP, его различных уровнях, эквиваленте, модели взаимодействия открытых систем (OSI) и многом другом.
В некотором смысле MPLS-сеть - жемчужина Tata Communications. Поскольку пакетам могут быть присвоены метки с указанием приоритета, такая форма технологии коммутации позволяет компании использовать эту гибкую транспортную систему для обеспечения гарантий при обслуживании клиентов. Присваивание меток также позволяет направлять данные по конкретному пути, а не по динамически назначаемому, что позволяет определять требования к качеству обслуживания или даже избегать высоких тарифов на трафик с определенных территорий.
Опять же, исходя из названия, многопротокольность позволяет поддерживать разные способы коммуникации. Так, если корпоративный клиент хочет VPN (виртуальную частную сеть), личный интернет, облачные приложения или определенный вид шифрования, эти услуги достаточно просто предоставить.
На время этого посещения назовем нашего путеводителя по Бакингемшеру Полом, а его коллегу из центра эксплуатации сети - Джорджем.
«С MPLS мы можем предоставить любой BIA (защитный адрес) или Интернет - любую услугу, которую хочет клиент. MPLS кормит нашу сеть выделенных серверов, которая является самой большой зоной обслуживания в Великобритании. У нас 400 мест с большим числом устройств, соединенных в одну большую сеть, которая является единой автономной системой. Она предоставляет IP, Интернет и услуги P2P нашим клиентам. Поскольку у нее топология сетки (400 взаимосвязанных устройств), каждое новое соединение пройдет по новому пути к MPLS-облаку. Мы также предоставляем сетевые услуги: внутрисетевые и внесетевые. Провайдеры вроде Virgin Media и NetApp предоставляют свои услуги непосредственно клиентам», - рассказывает Пол.
В просторном Зале данных № 110 выделенные сервера и облачные сервисы Tata расположены с одной стороны, а коллокация - с другой. Также оборудован и Зал данных № 120. Некоторые клиенты хранят свои стеллажи в клетках и разрешают доступ к ним только собственному персоналу. Находясь здесь, они получают место, энергию и определенную среду. По умолчанию все стеллажи имеют два источника: A UPS и B UPS. Каждый из них идет по отдельной сети, проходя через здание по разным маршрутам.
«Наше оптоволокно, которое идет от SLTE и Лондона, заканчивается здесь», - рассказывает Пол. Указывая на стеллаж с набором Ciena 6500, он добавляет: «Возможно, вы видели похожее оборудование на месте выхода кабеля на сушу. Вот это берет основное темное оптоволокно, входящее в здание, а затем распределяет его по DWDM-оборудованию. Сигналы темного оптоволокна распределяются по разным спектрам, и затем оно идет к ADVA, после чего раздается клиентам. Мы не позволяем клиентам подключаться к нашей сети напрямую, поэтому все сетевые устройства заканчиваются здесь. Отсюда мы распространяем нашу связь».
Изменение в потоке данных
Обычный день для Пола и его коллег, работающих удаленно, состоит из подключения аппаратного оборудования новых клиентов и заданий вроде выгрузки жестких дисков и твердотельных накопителей (SSD). Это не подразумевает особо глубокое выявление неисправностей. Например, если клиент потерял связь с одним из своих устройств, его команда, находящаяся здесь для поддержки, проверяет, работает ли связь на физическом уровне и, если это необходимо, меняет сетевую плату и все такое прочее, чтобы убедиться в том, что доступ к устройству или платформе восстановлен.
В последние годы он заметил некоторые изменения. Стеллажи с серверами размером 1U или 2U начали заменять блоками 8U или 9U, которые поддерживают множество разных плат, включая ультракомпактные сервера. В результате, просьб об установке индивидуальных сетей серверов стало намного меньше. За последние 4 или 5 лет произошли и другие перемены.
«В Tata большую часть оборудования представляют HP или Dell, их устройства мы сейчас используем для выделенных серверов и облачных протоколов. Раньше еще пользовались Sun, но сейчас он очень редко встречается. Для хранения и резервных копий мы стандартно использовали NetApp, но сейчас, как я вижу, появился еще и EMC, а в последнее время я заметил много запоминающих устройств Hitachi. Кроме того, многие клиенты выбирают выделенные системы резервного хранения, а не управляемые или совместно используемые».
Центры управления центра управления сетью
Планировка в отведенной под ЦУС (центр управления сетью) части помещения во многом похожа на обычный офис, хотя большой экран и камера, посредством которых осуществляется связь между британским офисом и работниками ЦУС в индийском Ченнаи, могут оказаться неожиданностью. Впрочем, они служат своего рода способом тестирования сети: если экран потухает, в обоих офисах понимают, что возникла какая-то проблема. Здесь, фактически, функционирует служба поддержки первого уровня. Сеть контролируется из Нью-Йорка, а за хостингом наблюдают в Ченнаи. Поэтому если что-то серьезное действительно произойдет, в этих местах, расположенных далеко друг от друга, об этом узнают первыми.
Джордж описывает организационную структуру работы центра: «Поскольку мы центр управления сетью, нам звонят люди, у которых возникли проблемы. Мы оказываем поддержку 50-и приоритетным потребителям (все они - те, кто платят за услуги больше всего) и каждый раз, когда они сталкиваются с проблемой, она и правда является приоритетной. Наша сеть предоставляет собой совместную инфраструктуру, и серьезная проблема может затронуть многих потребителей. В таком случае необходимо, чтобы у нас была возможность своевременно их информировать. У нас есть договоренность с некоторыми потребителями, согласно которой мы каждый час предоставляем им последнюю информацию, а некоторым - каждые 30 минут. В случае чрезвычайных происшествий на линии мы постоянно держим их в курсе, пока решаем проблему. Круглосуточно».
Как работает провайдер инфраструктуры
Поскольку речь идет о международной кабельной системе, провайдеры связи по всему миру сталкиваются с одинаковыми проблемами: это, в частности, повреждение наземных кабелей, которое чаще всего происходит на строительных площадках на находящихся под менее тщательным контролем участках. Это и, разумеется, сбившиеся с траектории якори на дне моря. К тому же, нельзя забывать про DDoS-атаки, в ходе которых системы подвергаются нападению, и всю доступную пропускную способность заполняет трафик. Разумеется, команда прекрасно оснащена для того, чтобы противодействовать этим угрозам.
«Оборудование настроено так, чтобы отслеживать обычные модели трафика, которые ожидаются в конкретный период дня. Они могут последовательно сверить трафик в 4 часа дня прошлого четверга и сейчас. Если при проверке выявится что-нибудь необычное, оборудование может превентивно ликвидировать вторжение и перенаправить трафик с помощью другого брандмауэра, что может отсеять любое вторжение. Это называется продуктивным смягчением последствий DDoS. Другой его вид - ответный. В таком случае потребитель может сказать нам: „О, у меня в этот день угроза в системе. Вам лучше бы быть начеку". Даже в такой ситуации мы можем в качестве упреждающей меры произвести фильтрацию. Также существует законная активность, о которой нас уведомят, к примеру, Гластонбери (Музыкальный фестиваль, проходящий в Великобритании - прим. Newочем), так что когда билеты поступают в продажу, возросший уровень активности не блокируется».
За задержками в работе системы также приходится вести упреждающий контроль из-за клиентов вроде Citrix, которые занимаются сервисами виртуализации и облачными приложениями, чувствительными к существенным задержкам сети. Жажду скорости ценит и такой клиент, как Формула-1. Tata Communications управляет сетевой инфраструктурой гонок для всех команд и различных вещательных компаний.
«Мы отвечаем за всю экосистему Формулы-1, включая инженеров гонок, находящихся в месте их проведения и также являющихся частью команды. Мы создаем точку входа на каждом месте проведения гонки - устанавливаем ее, протягиваем вся кабели и обеспечиваем всех пользователей. Мы ставим различные точки доступа Wi-Fi для гостевой зоны и других мест. Находящийся там инженер выполняет всю работу, и он может продемонстрировать, что в день гонок вся связь находится в рабочем состоянии. Мы следим за ней с помощью программы PRTG (Paessler Router Traffic Grapher - программа, предназначенная для мониторинга использования сети - прим. Newочем), так что мы можем проверять состояние ключевых показателей эффективности. Поддержку мы осуществляем отсюда, круглые сутки и без выходных».
Такой активный клиент, который на протяжении года регулярно проводит мероприятия, означает, что команда по управлению объектом должна назначать даты тестирования резервных систем. Если речь идет о неделе проведения гонки F1, то со вторника по понедельник следующей недели этим парням придется держать свои руки при себе и не начинать тестировать линии в центре обработки информации. Даже во время моей экскурсии, которую проводил Пол, он поосторожничал и, показывая на блок оборудования для F1, не стал открывать щиток, чтобы я мог более детально его рассмотреть.
И, кстати, если вам любопытно, как действуют резервные системы, то в них установлены 360 батарей на каждый ИБП и 8 источников бесперебойного питания. В сумме это дает более 2800 батарей, и, поскольку каждая из них весит по 32 кг, их общий вес - около 96 тонн. Срок службы батарей - 10 лет, и за каждой из них ведется индивидуальный контроль температуры, влажности, сопротивления и других показателей, проверяемых круглосуточно. При полной загрузке они смогут поддерживать работу центра обработки информации около 8 минут, что даст кучу времени на то, чтобы включились генераторы. В день моего посещения загруженность была такой, что батареи, включись они, смогли бы обеспечивать работу всех систем центра на протяжении пары часов.
В центре установлено 6 генераторов - по три на каждый зал дата-центра. Каждый генератор может принять полную загруженность центра - 1,6 МВА. Каждый из них производит по 1280 киловатт энергии. В целом туда поступает 6 МВА - такого количества энергии, возможно, хватило бы на то, чтобы обеспечить энергией половину города. В центре есть и седьмой генератор, который покрывает потребность в энергии, нужной для обслуживания здания. В помещении находится около 8000 литров топлива - достаточно, чтобы прекрасно пережить сутки в условиях полной загруженности. При полном сгорании топлива в час потребляется 220 литров дизеля, что, если бы это было машиной, движущейся со скоростью 96 км/ч, могло бы вывести на новый уровень скромный показатель в 235 литров на 100 км - цифры, из-за которых Humvee выглядит как Prius.
ПРОДОЛЖЕНИЕ