Как устроена инфраструктура интернета (продолжение)
Зарядные устройства, которые, по сути, являются выпрямителями тока, обеспечивают напряжение холостого хода для поддержания заряда аккумуляторов (герметичные свинцовокислотные аккумуляторы должны иногда подзаряжаться на холостом ходу, иначе со временем они теряют полезные свойства из-за т.н. процесса сульфатации - прим. Newочём). Они также проводят напряжение постоянного тока для стеллажей к зданию. Внутри комнаты находятся два источника электроснабжения, размещенные в больших синих шкафах. Один питает кабель Atlantic S1, другой - Portugal C1. Цифровой дисплей показывает 4100 В при силе тока приблизительно в 600 мА для атлантического источника электроснабжения, второй показывает чуть больше 1500 В при 650 мА для источника электроснабжения C1.
Джон описывает конфигурацию:
«Источник электроснабжения состоит из двух отдельных конвертеров. У каждого из них есть три степени мощности, и он может подать 3000 В постоянного тока. Один этот шкаф может питать целый кабель, то есть у нас n+1 запаса, поскольку у нас их два. Хотя, скорее даже n+3, потому что даже если в Нью-Джерси упадут оба конвертера, и еще один здесь, мы все равно сможем питать кабель».
Раскрывая некоторые весьма изощренные механизмы переключения, Джон объясняет систему контроля: «Вот так, по сути, мы это включаем и выключаем. Если есть проблема с кабелем, нам приходится работать с кораблем, который занимается починкой. Существует целый набор процедур, которые мы должны проделать, чтобы удостовериться в безопасности, прежде чем команда корабля начнет работу. Очевидно, напряжение так высоко, что является смертельным, поэтому нам приходится отправлять сообщения об энергетической безопасности. Мы отправляем уведомление о том, что кабель заземлен, а они отвечают. Все взаимно соединено, поэтому можно удостовериться в том, что все безопасно».
На объекте также есть два 2 МВА (мегавольтамперных - прим. Newочём) дизельных генератора. Конечно, поскольку все продублировано, второй - запасной. Там есть и три громадных охлаждающих аппарата, хотя, по-видимому, им необходим только один. Раз в месяц запасной генератор проверяется без нагрузки, а дважды в год все здание запускается при нагрузке. Поскольку здание также является и центром обработки и хранения данных, это необходимо для аккредитации на соглашение об уровне услуг (SLA) и международной организации по стандартизации (ISO).
В обычный месяц на объекте счет за электричество легко достигает 5 цифр.
Следующая остановка: дата-центр
В бакингемширском дата-центре существуют похожие требования к объемам резервов, хоть и другого масштаба: две гигантские колокации (колокация - услуга, заключающаяся в том, что провайдер размещает клиентское оборудование на своей территории и обеспечивает его работу и обслуживание, что позволяет сэкономить на организации канала связи от провайдера до клиента - прим. Newочём) и управляемые хостинговые холлы (S110 и S120), каждый из которых занимает квадратный километр. Темное оптоволокно (неиспользуемые для передачи данных волокна оптического кабеля, которые служат в качестве резерва - прим. Newочём) соединяет S110 с Лондоном, а S120 соединено с местом выхода кабеля на западном побережье. Там расположены две установки - автономные системы 6453 и 4755: многопротокольная коммутация по меткам (MPLS) и межсетевой протокол (IP)
Как следует из названия, MPLS использует метки и присваивает их пакетам данных. Их содержание изучать не требуется. Вместо этого решения об отправке пакета принимаются на основе содержания меток. Если вы хотите детально изучить как работает MPLS, то MPLSTutorial.com - хорошее место для начала.
Аналогичным образом, TCP/IP Guide Чарльза Козиерока - отличный онлайн-ресурс для тех, кто хочет узнать больше о TCP/IP, его различных уровнях, эквиваленте, модели взаимодействия открытых систем (OSI) и многом другом.
В некотором смысле MPLS-сеть - жемчужина Tata Communications. Поскольку пакетам могут быть присвоены метки с указанием приоритета, такая форма технологии коммутации позволяет компании использовать эту гибкую транспортную систему для обеспечения гарантий при обслуживании клиентов. Присваивание меток также позволяет направлять данные по конкретному пути, а не по динамически назначаемому, что позволяет определять требования к качеству обслуживания или даже избегать высоких тарифов на трафик с определенных территорий.
Опять же, исходя из названия, многопротокольность позволяет поддерживать разные способы коммуникации. Так, если корпоративный клиент хочет VPN (виртуальную частную сеть), личный интернет, облачные приложения или определенный вид шифрования, эти услуги достаточно просто предоставить.
На время этого посещения назовем нашего путеводителя по Бакингемшеру Полом, а его коллегу из центра эксплуатации сети - Джорджем.
«С MPLS мы можем предоставить любой BIA (защитный адрес) или Интернет - любую услугу, которую хочет клиент. MPLS кормит нашу сеть выделенных серверов, которая является самой большой зоной обслуживания в Великобритании. У нас 400 мест с большим числом устройств, соединенных в одну большую сеть, которая является единой автономной системой. Она предоставляет IP, Интернет и услуги P2P нашим клиентам. Поскольку у нее топология сетки (400 взаимосвязанных устройств), каждое новое соединение пройдет по новому пути к MPLS-облаку. Мы также предоставляем сетевые услуги: внутрисетевые и внесетевые. Провайдеры вроде Virgin Media и NetApp предоставляют свои услуги непосредственно клиентам», - рассказывает Пол.
В просторном Зале данных № 110 выделенные сервера и облачные сервисы Tata расположены с одной стороны, а коллокация - с другой. Также оборудован и Зал данных № 120. Некоторые клиенты хранят свои стеллажи в клетках и разрешают доступ к ним только собственному персоналу. Находясь здесь, они получают место, энергию и определенную среду. По умолчанию все стеллажи имеют два источника: A UPS и B UPS. Каждый из них идет по отдельной сети, проходя через здание по разным маршрутам.
«Наше оптоволокно, которое идет от SLTE и Лондона, заканчивается здесь», - рассказывает Пол. Указывая на стеллаж с набором Ciena 6500, он добавляет: «Возможно, вы видели похожее оборудование на месте выхода кабеля на сушу. Вот это берет основное темное оптоволокно, входящее в здание, а затем распределяет его по DWDM-оборудованию. Сигналы темного оптоволокна распределяются по разным спектрам, и затем оно идет к ADVA, после чего раздается клиентам. Мы не позволяем клиентам подключаться к нашей сети напрямую, поэтому все сетевые устройства заканчиваются здесь. Отсюда мы распространяем нашу связь.
Изменение в потоке данных
Обычный день для Пола и его коллег, работающих удаленно, состоит из подключения аппаратного оборудования новых клиентов и заданий вроде выгрузки жестких дисков и твердотельных накопителей (SSD). Это не подразумевает особо глубокое выявление неисправностей. Например, если клиент потерял связь с одним из своих устройств, его команда, находящаяся здесь для поддержки, проверяет, работает ли связь на физическом уровне и, если это необходимо, меняет сетевую плату и все такое прочее, чтобы убедиться в том, что доступ к устройству или платформе восстановлен.
В последние годы он заметил некоторые изменения. Стеллажи с серверами размером 1U или 2U начали заменять блоками 8U или 9U, которые поддерживают множество разных плат, включая ультракомпактные сервера. В результате, просьб об установке индивидуальных сетей серверов стало намного меньше. За последние 4 или 5 лет произошли и другие перемены.
«В Tata большую часть оборудования представляют HP или Dell, их устройства мы сейчас используем для выделенных серверов и облачных протоколов. Раньше еще пользовались Sun, но сейчас он очень редко встречается. Для хранения и резервных копий мы стандартно использовали NetApp, но сейчас, как я вижу, появился еще и EMC, а в последнее время я заметил много запоминающих устройств Hitachi. Кроме того, многие клиенты выбирают выделенные системы резервного хранения, а не управляемые или совместно используемые».
Центры управления центра управления сетью
Планировка в отведенной под ЦУС (центр управления сетью) части помещения во многом похожа на обычный офис, хотя большой экран и камера, посредством которых осуществляется связь между британским офисом и работниками ЦУС в индийском Ченнаи, могут оказаться неожиданностью. Впрочем, они служат своего рода способом тестирования сети: если экран потухает, в обоих офисах понимают, что возникла какая-то проблема. Здесь, фактически, функционирует служба поддержки первого уровня. Сеть контролируется из Нью-Йорка, а за хостингом наблюдают в Ченнаи. Поэтому если что-то серьезное действительно произойдет, в этих местах, расположенных далеко друг от друга, об этом узнают первыми.
Джордж описывает организационную структуру работы центра: «Поскольку мы центр управления сетью, нам звонят люди, у которых возникли проблемы. Мы оказываем поддержку 50-и приоритетным потребителям (все они - те, кто платят за услуги больше всего) и каждый раз, когда они сталкиваются с проблемой, она и правда является приоритетной. Наша сеть предоставляет собой совместную инфраструктуру, и серьезная проблема может затронуть многих потребителей. В таком случае необходимо, чтобы у нас была возможность своевременно их информировать. У нас есть договоренность с некоторыми потребителями, согласно которой мы каждый час предоставляем им последнюю информацию, а некоторым - каждые 30 минут. В случае чрезвычайных происшествий на линии мы постоянно держим их в курсе, пока решаем проблему. Круглосуточно».
Как работает провайдер инфраструктуры
Поскольку речь идет о международной кабельной системе, провайдеры связи по всему миру сталкиваются с одинаковыми проблемами: это, в частности, повреждение наземных кабелей, которое чаще всего происходит на строительных площадках на находящихся под менее тщательным контролем участках. Это и, разумеется, сбившиеся с траектории якори на дне моря. К тому же, нельзя забывать про DDoS-атаки, в ходе которых системы подвергаются нападению, и всю доступную пропускную способность заполняет трафик. Разумеется, команда прекрасно оснащена для того, чтобы противодействовать этим угрозам.
«Оборудование настроено так, чтобы отслеживать обычные модели трафика, которые ожидаются в конкретный период дня. Они могут последовательно сверить трафик в 4 часа дня прошлого четверга и сейчас. Если при проверке выявится что-нибудь необычное, оборудование может превентивно ликвидировать вторжение и перенаправить трафик с помощью другого брандмауэра, что может отсеять любое вторжение. Это называется продуктивным смягчением последствий DDoS. Другой его вид - ответный. В таком случае потребитель может сказать нам: „О, у меня в этот день угроза в системе. Вам лучше бы быть начеку". Даже в такой ситуации мы можем в качестве упреждающей меры произвести фильтрацию. Также существует законная активность, о которой нас уведомят, к примеру, Гластонбери (Музыкальный фестиваль, проходящий в Великобритании - прим. Newочем), так что когда билеты поступают в продажу, возросший уровень активности не блокируется».
За задержками в работе системы также приходится вести упреждающий контроль из-за клиентов вроде Citrix, которые занимаются сервисами виртуализации и облачными приложениями, чувствительными к существенным задержкам сети. Жажду скорости ценит и такой клиент, как Формула-1. Tata Communications управляет сетевой инфраструктурой гонок для всех команд и различных вещательных компаний.
«Мы отвечаем за всю экосистему Формулы-1, включая инженеров гонок, находящихся в месте их проведения и также являющихся частью команды. Мы создаем точку входа на каждом месте проведения гонки - устанавливаем ее, протягиваем вся кабели и обеспечиваем всех пользователей. Мы ставим различные точки доступа Wi-Fi для гостевой зоны и других мест. Находящийся там инженер выполняет всю работу, и он может продемонстрировать, что в день гонок вся связь находится в рабочем состоянии. Мы следим за ней с помощью программы PRTG (Paessler Router Traffic Grapher - программа, предназначенная для мониторинга использования сети - прим. Newочем), так что мы можем проверять состояние ключевых показателей эффективности. Поддержку мы осуществляем отсюда, круглые сутки и без выходных.
Такой активный клиент, который на протяжении года регулярно проводит мероприятия, означает, что команда по управлению объектом должна назначать даты тестирования резервных систем. Если речь идет о неделе проведения гонки F1, то со вторника по понедельник следующей недели этим парням придется держать свои руки при себе и не начинать тестировать линии в центре обработки информации. Даже во время моей экскурсии, которую проводил Пол, он поосторожничал и, показывая на блок оборудования для F1, не стал открывать щиток, чтобы я мог более детально его рассмотреть.
И, кстати, если вам любопытно, как действуют резервные системы, то в них установлены 360 батарей на каждый ИБП и 8 источников бесперебойного питания. В сумме это дает более 2800 батарей, и, поскольку каждая из них весит по 32 кг, их общий вес - около 96 тонн. Срок службы батарей - 10 лет, и за каждой из них ведется индивидуальный контроль температуры, влажности, сопротивления и других показателей, проверяемых круглосуточно. При полной загрузке они смогут поддерживать работу центра обработки информации около 8 минут, что даст кучу времени на то, чтобы включились генераторы. В день моего посещения загруженность была такой, что батареи, включись они, смогли бы обеспечивать работу всех систем центра на протяжении пары часов.
В центре установлено 6 генераторов - по три на каждый зал дата-центра. Каждый генератор может принять полную загруженность центра - 1,6 МВА. Каждый из них производит по 1280 киловатт энергии. В целом туда поступает 6 МВА - такого количества энергии, возможно, хватило бы на то, чтобы обеспечить энергией половину города. В центре есть и седьмой генератор, который покрывает потребность в энергии, нужной для обслуживания здания. В помещении находится около 8000 литров топлива - достаточно, чтобы прекрасно пережить сутки в условиях полной загруженности. При полном сгорании топлива в час потребляется 220 литров дизеля, что, если бы это было машиной, движущейся со скоростью 96 км/ч, могло бы вывести на новый уровень скромный показатель в 235 литров на 100 км - цифры, из-за которых Humvee выглядит как Prius.
Последняя миля
Завершающий этап - последние несколько километров от сетевого шлюза или центра управления сетью до вашего дома - не так уж впечатляет, даже если бегло взглянуть на конечные ответвления сетевой инфраструктуры.
Однако и здесь происходили изменения. Устанавливая новые телекоммуникационные шкафы бок о бок со старыми зелеными шкафами, Virgin Media и Openreach организовывают линии DOCSIS и VDSL2, увеличивая число подключенных к сети домов и предприятий.
VDSL2
Внутри новых шкафов Openreach для линий VDSL2 находится мультиплексор DSLAМ (мультиплексор доступа цифровой абонентской линии в терминологии BT). Во времена технологий ADSL и ADSL2 мультиплексоры DSLAМ устанавливали недалеко от локальных коммутаторов, но использование уличных шкафов позволяет усилить сигнал оптического кабеля, идущего к коммутатору, чтобы увеличить скорость широкополосного доступа для конечного потребителя.
Шкафы DSLAM запитываются отдельно и подключаются соединительными парами к существующим уличным шкафам, такая связка - это узловой телекоммуникационный шкаф. Медная пара до конечного пользователя остается нетронутой, в то время как VDSL2 дает возможность широкополосного доступа за счет использования обычных уличных шкафов.
Это апгрейд, который не может быть осуществлен без присутствия техников, и панель NTE5 (оконечное оборудование сети) внутри дома тоже должна быть модифицирована. Но всё же это шаг вперед, который позволяет провайдерам увеличить скорость с 38 Мбит/с до 78 Мбит/с в миллионах домов, минуя объем работ, необходимых для прокладки FTTH.
DOCSIS
Это совсем иная технология гибридной оптико-коаксиальной сети Virgin Media, которая позволяет обеспечить домашнему потребителю скорость до 200 Мбит/с и до 300 Мбит/с для предприятий. Несмотря на то, что технологии, позволяющие обеспечить такую скорость основаны на DOCSIS 3 (стандарт передачи данных по коаксиальному кабелю), а не на VDSL2, здесь есть кое-какие параллели. Virgin Media прокладывает оптоволоконные линии до уличных шкафов, далее используя медный коаксиальный кабель для широкополосного доступа и ТВ (для телефонии по-прежнему используется витая пара).
Стоит отметить, что DOCSIS 3.0 - это самый распространенный в США вариант последней мили, 55 миллионов из всех 90 миллионов стационарных линий широкополосного доступа используют коаксиальный кабель. На втором месте ADSL - 20 миллионов, далее FTTP - 10 миллионов. Технология VDSL2 в США почти не используется, но время от времени встречается в некоторых городских районах.
DOCSIS 3 до сих пор имеет запас скорости, который позволит кабельным провайдерам при необходимости увеличить скорость до 400, 500 или 600 Мбит/с - а после этого появится DOCSIS 3.1, который уже ждет своего часа.
При использовании стандарта DOCSIS 3.1 входящая скорость превышает 10 Гбит/с, а исходящая достигает 1 Гбит/с. Достигнуть таких мощностей можно за счет метода квадратурной амплитудной модуляции - она же используется на коротких расстояниях в подводных кабелях. Однако на суше получены КАМ более высокого порядка - 4096КАМ по схеме цифровой модуляции мультиплексирования с ортогональным частотным разделением каналов (OFDM), где, как и в DWDM, сигнал разделяется на несколько поднесущих, передаваемых на разных частотах в ограниченном спектре. Метод ODFM также используется в ADSL/VDSL и G.fast.
Последние 100 метров
Несмотря на то, что FTTC и DOCSIS последние несколько лет доминируют на рынке проводного интернет-доступа Великобритании, будет большим упущением не упомянуть о другой стороне проблемы последней мили (или последних 100 м): мобильные устройства и беспроводная связь.
Вскоре ожидается появление новых возможностей для управления и развертывания мобильных сетей, но пока давайте просто взглянем на Wi-Fi, которая в основном является расширением для FTTC и DOCSIS. Наглядный пример: недавно внедренное и почти полное покрытие городских районов точками доступа Wi-Fi.
Сперва это были всего несколько смелых кафе и баров, но затем BT превратила абонентские маршрутизаторы в открытые точки доступа, назвав это «BT Fon». Сейчас это превратилось в игру крупных инфрастуктурных компаний - Wi-Fi сеть в лондонском метро или интересный проект Virgin «умный тротуар» в Чешаме, Бакингемшир
Для этого проекта Virgin Media просто поместили точки доступа под крышки канализационных люков, которые изготовлены из специального радиопрозрачного композита. Virgin используют множество линий и узлов по всей Британии, так почему бы не добавить несколько Wi-Fi точек, чтобы поделиться доступом с людьми?
В беседе с Саймоном Клементом, старшим технологом Virgin Media, создается впечатление, что внедрение умного тротуара сперва казалось более трудной задачей, чем вышло на самом деле.
«Раньше мы сталкивались с трудностями взаимодействия с местными властями, но в этот раз такого не произошло, - говорит Клемент, - городской совет Чешама активно сотрудничал с нами в работе над этим проектом, и складывалось общее впечатление того, что чиновники повсеместно открыты к внедрению коммуникационных услуг для населения и понимают какую работу необходимо проделать, чтобы реализовать эти услуги»
Большинство трудностей возникают сами по себе или связаны с регламентами.
«Главная задача в том, чтобы мыслить нестандартно. К примеру, стандартные проекты беспроводного доступа предполагают установку радиоточек настолько высоко, насколько позволяет административный регламент, и эти точки работают с мощностью, максимальный уровень которой ограничивается тем же регламентом. Мы же попытались установить точки доступа под землей, чтобы они работали на мощности простого домашнего Wi-Fi»
«Нам пришлось идти на множество рисков по ходу проекта. Как и во всех инновационных проектах, предварительная оценка рисков актуальна до тех пор, пока объем работ остается неизменным. На практике это случается крайне редко, и мы вынуждены регулярно производить динамическую оценку рисков. Существуют ключевые принципы, которых мы стараемся держаться, особенно в работе с беспроводным доступом. Мы всегда придерживаемся ограничений стандарта EIRP (эффективная изотропно излучаемая мощность) и всегда используем безопасные рабочие методы применительно к радио. Когда имеешь дело с радиоизлучением, лучше быть консерватором».
Назад в будущее кабельного Интернета
Далее на горизонте для сети POTS от Openreach стоит G.fast, который лучше всего можно описать как конфигурацию FTTdp (оптическое волокно к точке раздачи). Опять же, это переходник от оптоволокна к медному кабелю, но DSLAM будет размещен еще ближе к конечному пользователю, над телеграфными столбами и под землей, а на последних десятках метров кабеля будет привычная медная витая пара.
Идея заключается в том, чтобы расположить оптоволокно как можно ближе к клиенту, одновременно минимизируя длину медного кабеля, что теоретически позволяет достигать скорости подключения от 500 до 800 Мбит/с. G.fast работает с гораздо большим диапазоном частот нежели VDSL2, так что длина кабеля сильнее влияет на работоспособность сети. Однако, некоторые сомневаются, что при таком раскладе BT Openreach будет оптимизировать скорость, так как, по причине высокой стоимости, для предоставления таких услуг им придется вернуться к узловому телекоммуникационному шкафу и пожертвовать скоростью: она снизится до 300 Мбит/с.
Есть еще FTTH. Openreach изначально отложили FTTH - они разработали лучший (читай: дешевый) способ передачи, но недавно заявили о своей «амбиции» начать широкомасштабное внедрение FTTH. Технологии FTTC или FTTdp наиболее вероятно станут краткосрочным и промежуточным решением для многих пользователей, которые пользуются услугами кабельных провайдеров, в свою очередь являющихся оптовыми клиентами Openreach.
С другой стороны, нет основания полагать, что Virgin Media собирается почивать на коаксиальных лаврах: пока их конкурент-телекоммуникационный гигант обдумывает свои ходы, Virgin стабильно поставляет услуги FTTH, охватывая 250 тысяч пользователей и ставит целью достичь 500 тысяч в этом году. Проект Lightning, с помощью которого в течение следующих нескольких лет к сети Virgin подключатся еще четыре миллиона домов и офисов, включает один миллион новых подключений по FTTH.
В нынешней ситуации Virgin использует технологию RFOG (радиочастота по стекловолокну) и таким образом появляется возможность использовать стандартные коаксиальные роутеры и TiVo, но значительное влияние в сфере FTTH в Великобритании дает компании несколько дополнительных опций в будущем, когда спрос на широкополосный пользовательский доступ возрастет.
Последние несколько лет также были благоприятны для мелких и независимых игроков вроде Hyperoptic и Gigaclear, которые выпускают свои собственные оптоволоконные сети. Их площадь покрытия все еще крайне ограничена парой тысяч жилых домов в центре города (Hyperoptic) и сельскими поселениями (Gigaclear), но рост конкуренции и вложений в инфрастуктуру никогда не ведет к плохому.
Вот и все дела: в следующий раз, смотря видео на YouTube, вы в подробностях будете знать, как оно движется с облачного сервера на ваш компьютер. Это может казаться очень легким, - особенно с вашей стороны - но теперь вы знаете правду: всё работает на смертоносных кабелях в 4000 вольт, 96 тоннах батарей, тысячах литров дизельного топлива, миллионах миль кабелей «последней мили» и излишестве в избытке.
Сама система тоже будет становиться все больше и безумней. Для умных домов, носимой электроники и ТВ с фильмами по запросу понадобится больший диапазон, большая надежность и больше мозгов в колбах. Хорошо жить в наше время.
Боб Дормон (Bob Dormon)
Перевод осуществлен проектом Newочём
источник
Джон описывает конфигурацию:
«Источник электроснабжения состоит из двух отдельных конвертеров. У каждого из них есть три степени мощности, и он может подать 3000 В постоянного тока. Один этот шкаф может питать целый кабель, то есть у нас n+1 запаса, поскольку у нас их два. Хотя, скорее даже n+3, потому что даже если в Нью-Джерси упадут оба конвертера, и еще один здесь, мы все равно сможем питать кабель».
Раскрывая некоторые весьма изощренные механизмы переключения, Джон объясняет систему контроля: «Вот так, по сути, мы это включаем и выключаем. Если есть проблема с кабелем, нам приходится работать с кораблем, который занимается починкой. Существует целый набор процедур, которые мы должны проделать, чтобы удостовериться в безопасности, прежде чем команда корабля начнет работу. Очевидно, напряжение так высоко, что является смертельным, поэтому нам приходится отправлять сообщения об энергетической безопасности. Мы отправляем уведомление о том, что кабель заземлен, а они отвечают. Все взаимно соединено, поэтому можно удостовериться в том, что все безопасно».
На объекте также есть два 2 МВА (мегавольтамперных - прим. Newочём) дизельных генератора. Конечно, поскольку все продублировано, второй - запасной. Там есть и три громадных охлаждающих аппарата, хотя, по-видимому, им необходим только один. Раз в месяц запасной генератор проверяется без нагрузки, а дважды в год все здание запускается при нагрузке. Поскольку здание также является и центром обработки и хранения данных, это необходимо для аккредитации на соглашение об уровне услуг (SLA) и международной организации по стандартизации (ISO).
В обычный месяц на объекте счет за электричество легко достигает 5 цифр.
Следующая остановка: дата-центр
В бакингемширском дата-центре существуют похожие требования к объемам резервов, хоть и другого масштаба: две гигантские колокации (колокация - услуга, заключающаяся в том, что провайдер размещает клиентское оборудование на своей территории и обеспечивает его работу и обслуживание, что позволяет сэкономить на организации канала связи от провайдера до клиента - прим. Newочём) и управляемые хостинговые холлы (S110 и S120), каждый из которых занимает квадратный километр. Темное оптоволокно (неиспользуемые для передачи данных волокна оптического кабеля, которые служат в качестве резерва - прим. Newочём) соединяет S110 с Лондоном, а S120 соединено с местом выхода кабеля на западном побережье. Там расположены две установки - автономные системы 6453 и 4755: многопротокольная коммутация по меткам (MPLS) и межсетевой протокол (IP)
Как следует из названия, MPLS использует метки и присваивает их пакетам данных. Их содержание изучать не требуется. Вместо этого решения об отправке пакета принимаются на основе содержания меток. Если вы хотите детально изучить как работает MPLS, то MPLSTutorial.com - хорошее место для начала.
Аналогичным образом, TCP/IP Guide Чарльза Козиерока - отличный онлайн-ресурс для тех, кто хочет узнать больше о TCP/IP, его различных уровнях, эквиваленте, модели взаимодействия открытых систем (OSI) и многом другом.
В некотором смысле MPLS-сеть - жемчужина Tata Communications. Поскольку пакетам могут быть присвоены метки с указанием приоритета, такая форма технологии коммутации позволяет компании использовать эту гибкую транспортную систему для обеспечения гарантий при обслуживании клиентов. Присваивание меток также позволяет направлять данные по конкретному пути, а не по динамически назначаемому, что позволяет определять требования к качеству обслуживания или даже избегать высоких тарифов на трафик с определенных территорий.
Опять же, исходя из названия, многопротокольность позволяет поддерживать разные способы коммуникации. Так, если корпоративный клиент хочет VPN (виртуальную частную сеть), личный интернет, облачные приложения или определенный вид шифрования, эти услуги достаточно просто предоставить.
На время этого посещения назовем нашего путеводителя по Бакингемшеру Полом, а его коллегу из центра эксплуатации сети - Джорджем.
«С MPLS мы можем предоставить любой BIA (защитный адрес) или Интернет - любую услугу, которую хочет клиент. MPLS кормит нашу сеть выделенных серверов, которая является самой большой зоной обслуживания в Великобритании. У нас 400 мест с большим числом устройств, соединенных в одну большую сеть, которая является единой автономной системой. Она предоставляет IP, Интернет и услуги P2P нашим клиентам. Поскольку у нее топология сетки (400 взаимосвязанных устройств), каждое новое соединение пройдет по новому пути к MPLS-облаку. Мы также предоставляем сетевые услуги: внутрисетевые и внесетевые. Провайдеры вроде Virgin Media и NetApp предоставляют свои услуги непосредственно клиентам», - рассказывает Пол.
В просторном Зале данных № 110 выделенные сервера и облачные сервисы Tata расположены с одной стороны, а коллокация - с другой. Также оборудован и Зал данных № 120. Некоторые клиенты хранят свои стеллажи в клетках и разрешают доступ к ним только собственному персоналу. Находясь здесь, они получают место, энергию и определенную среду. По умолчанию все стеллажи имеют два источника: A UPS и B UPS. Каждый из них идет по отдельной сети, проходя через здание по разным маршрутам.
«Наше оптоволокно, которое идет от SLTE и Лондона, заканчивается здесь», - рассказывает Пол. Указывая на стеллаж с набором Ciena 6500, он добавляет: «Возможно, вы видели похожее оборудование на месте выхода кабеля на сушу. Вот это берет основное темное оптоволокно, входящее в здание, а затем распределяет его по DWDM-оборудованию. Сигналы темного оптоволокна распределяются по разным спектрам, и затем оно идет к ADVA, после чего раздается клиентам. Мы не позволяем клиентам подключаться к нашей сети напрямую, поэтому все сетевые устройства заканчиваются здесь. Отсюда мы распространяем нашу связь.
Изменение в потоке данных
Обычный день для Пола и его коллег, работающих удаленно, состоит из подключения аппаратного оборудования новых клиентов и заданий вроде выгрузки жестких дисков и твердотельных накопителей (SSD). Это не подразумевает особо глубокое выявление неисправностей. Например, если клиент потерял связь с одним из своих устройств, его команда, находящаяся здесь для поддержки, проверяет, работает ли связь на физическом уровне и, если это необходимо, меняет сетевую плату и все такое прочее, чтобы убедиться в том, что доступ к устройству или платформе восстановлен.
В последние годы он заметил некоторые изменения. Стеллажи с серверами размером 1U или 2U начали заменять блоками 8U или 9U, которые поддерживают множество разных плат, включая ультракомпактные сервера. В результате, просьб об установке индивидуальных сетей серверов стало намного меньше. За последние 4 или 5 лет произошли и другие перемены.
«В Tata большую часть оборудования представляют HP или Dell, их устройства мы сейчас используем для выделенных серверов и облачных протоколов. Раньше еще пользовались Sun, но сейчас он очень редко встречается. Для хранения и резервных копий мы стандартно использовали NetApp, но сейчас, как я вижу, появился еще и EMC, а в последнее время я заметил много запоминающих устройств Hitachi. Кроме того, многие клиенты выбирают выделенные системы резервного хранения, а не управляемые или совместно используемые».
Центры управления центра управления сетью
Планировка в отведенной под ЦУС (центр управления сетью) части помещения во многом похожа на обычный офис, хотя большой экран и камера, посредством которых осуществляется связь между британским офисом и работниками ЦУС в индийском Ченнаи, могут оказаться неожиданностью. Впрочем, они служат своего рода способом тестирования сети: если экран потухает, в обоих офисах понимают, что возникла какая-то проблема. Здесь, фактически, функционирует служба поддержки первого уровня. Сеть контролируется из Нью-Йорка, а за хостингом наблюдают в Ченнаи. Поэтому если что-то серьезное действительно произойдет, в этих местах, расположенных далеко друг от друга, об этом узнают первыми.
Джордж описывает организационную структуру работы центра: «Поскольку мы центр управления сетью, нам звонят люди, у которых возникли проблемы. Мы оказываем поддержку 50-и приоритетным потребителям (все они - те, кто платят за услуги больше всего) и каждый раз, когда они сталкиваются с проблемой, она и правда является приоритетной. Наша сеть предоставляет собой совместную инфраструктуру, и серьезная проблема может затронуть многих потребителей. В таком случае необходимо, чтобы у нас была возможность своевременно их информировать. У нас есть договоренность с некоторыми потребителями, согласно которой мы каждый час предоставляем им последнюю информацию, а некоторым - каждые 30 минут. В случае чрезвычайных происшествий на линии мы постоянно держим их в курсе, пока решаем проблему. Круглосуточно».
Как работает провайдер инфраструктуры
Поскольку речь идет о международной кабельной системе, провайдеры связи по всему миру сталкиваются с одинаковыми проблемами: это, в частности, повреждение наземных кабелей, которое чаще всего происходит на строительных площадках на находящихся под менее тщательным контролем участках. Это и, разумеется, сбившиеся с траектории якори на дне моря. К тому же, нельзя забывать про DDoS-атаки, в ходе которых системы подвергаются нападению, и всю доступную пропускную способность заполняет трафик. Разумеется, команда прекрасно оснащена для того, чтобы противодействовать этим угрозам.
«Оборудование настроено так, чтобы отслеживать обычные модели трафика, которые ожидаются в конкретный период дня. Они могут последовательно сверить трафик в 4 часа дня прошлого четверга и сейчас. Если при проверке выявится что-нибудь необычное, оборудование может превентивно ликвидировать вторжение и перенаправить трафик с помощью другого брандмауэра, что может отсеять любое вторжение. Это называется продуктивным смягчением последствий DDoS. Другой его вид - ответный. В таком случае потребитель может сказать нам: „О, у меня в этот день угроза в системе. Вам лучше бы быть начеку". Даже в такой ситуации мы можем в качестве упреждающей меры произвести фильтрацию. Также существует законная активность, о которой нас уведомят, к примеру, Гластонбери (Музыкальный фестиваль, проходящий в Великобритании - прим. Newочем), так что когда билеты поступают в продажу, возросший уровень активности не блокируется».
За задержками в работе системы также приходится вести упреждающий контроль из-за клиентов вроде Citrix, которые занимаются сервисами виртуализации и облачными приложениями, чувствительными к существенным задержкам сети. Жажду скорости ценит и такой клиент, как Формула-1. Tata Communications управляет сетевой инфраструктурой гонок для всех команд и различных вещательных компаний.
«Мы отвечаем за всю экосистему Формулы-1, включая инженеров гонок, находящихся в месте их проведения и также являющихся частью команды. Мы создаем точку входа на каждом месте проведения гонки - устанавливаем ее, протягиваем вся кабели и обеспечиваем всех пользователей. Мы ставим различные точки доступа Wi-Fi для гостевой зоны и других мест. Находящийся там инженер выполняет всю работу, и он может продемонстрировать, что в день гонок вся связь находится в рабочем состоянии. Мы следим за ней с помощью программы PRTG (Paessler Router Traffic Grapher - программа, предназначенная для мониторинга использования сети - прим. Newочем), так что мы можем проверять состояние ключевых показателей эффективности. Поддержку мы осуществляем отсюда, круглые сутки и без выходных.
Такой активный клиент, который на протяжении года регулярно проводит мероприятия, означает, что команда по управлению объектом должна назначать даты тестирования резервных систем. Если речь идет о неделе проведения гонки F1, то со вторника по понедельник следующей недели этим парням придется держать свои руки при себе и не начинать тестировать линии в центре обработки информации. Даже во время моей экскурсии, которую проводил Пол, он поосторожничал и, показывая на блок оборудования для F1, не стал открывать щиток, чтобы я мог более детально его рассмотреть.
И, кстати, если вам любопытно, как действуют резервные системы, то в них установлены 360 батарей на каждый ИБП и 8 источников бесперебойного питания. В сумме это дает более 2800 батарей, и, поскольку каждая из них весит по 32 кг, их общий вес - около 96 тонн. Срок службы батарей - 10 лет, и за каждой из них ведется индивидуальный контроль температуры, влажности, сопротивления и других показателей, проверяемых круглосуточно. При полной загрузке они смогут поддерживать работу центра обработки информации около 8 минут, что даст кучу времени на то, чтобы включились генераторы. В день моего посещения загруженность была такой, что батареи, включись они, смогли бы обеспечивать работу всех систем центра на протяжении пары часов.
В центре установлено 6 генераторов - по три на каждый зал дата-центра. Каждый генератор может принять полную загруженность центра - 1,6 МВА. Каждый из них производит по 1280 киловатт энергии. В целом туда поступает 6 МВА - такого количества энергии, возможно, хватило бы на то, чтобы обеспечить энергией половину города. В центре есть и седьмой генератор, который покрывает потребность в энергии, нужной для обслуживания здания. В помещении находится около 8000 литров топлива - достаточно, чтобы прекрасно пережить сутки в условиях полной загруженности. При полном сгорании топлива в час потребляется 220 литров дизеля, что, если бы это было машиной, движущейся со скоростью 96 км/ч, могло бы вывести на новый уровень скромный показатель в 235 литров на 100 км - цифры, из-за которых Humvee выглядит как Prius.
Последняя миля
Завершающий этап - последние несколько километров от сетевого шлюза или центра управления сетью до вашего дома - не так уж впечатляет, даже если бегло взглянуть на конечные ответвления сетевой инфраструктуры.
Однако и здесь происходили изменения. Устанавливая новые телекоммуникационные шкафы бок о бок со старыми зелеными шкафами, Virgin Media и Openreach организовывают линии DOCSIS и VDSL2, увеличивая число подключенных к сети домов и предприятий.
VDSL2
Внутри новых шкафов Openreach для линий VDSL2 находится мультиплексор DSLAМ (мультиплексор доступа цифровой абонентской линии в терминологии BT). Во времена технологий ADSL и ADSL2 мультиплексоры DSLAМ устанавливали недалеко от локальных коммутаторов, но использование уличных шкафов позволяет усилить сигнал оптического кабеля, идущего к коммутатору, чтобы увеличить скорость широкополосного доступа для конечного потребителя.
Шкафы DSLAM запитываются отдельно и подключаются соединительными парами к существующим уличным шкафам, такая связка - это узловой телекоммуникационный шкаф. Медная пара до конечного пользователя остается нетронутой, в то время как VDSL2 дает возможность широкополосного доступа за счет использования обычных уличных шкафов.
Это апгрейд, который не может быть осуществлен без присутствия техников, и панель NTE5 (оконечное оборудование сети) внутри дома тоже должна быть модифицирована. Но всё же это шаг вперед, который позволяет провайдерам увеличить скорость с 38 Мбит/с до 78 Мбит/с в миллионах домов, минуя объем работ, необходимых для прокладки FTTH.
DOCSIS
Это совсем иная технология гибридной оптико-коаксиальной сети Virgin Media, которая позволяет обеспечить домашнему потребителю скорость до 200 Мбит/с и до 300 Мбит/с для предприятий. Несмотря на то, что технологии, позволяющие обеспечить такую скорость основаны на DOCSIS 3 (стандарт передачи данных по коаксиальному кабелю), а не на VDSL2, здесь есть кое-какие параллели. Virgin Media прокладывает оптоволоконные линии до уличных шкафов, далее используя медный коаксиальный кабель для широкополосного доступа и ТВ (для телефонии по-прежнему используется витая пара).
Стоит отметить, что DOCSIS 3.0 - это самый распространенный в США вариант последней мили, 55 миллионов из всех 90 миллионов стационарных линий широкополосного доступа используют коаксиальный кабель. На втором месте ADSL - 20 миллионов, далее FTTP - 10 миллионов. Технология VDSL2 в США почти не используется, но время от времени встречается в некоторых городских районах.
DOCSIS 3 до сих пор имеет запас скорости, который позволит кабельным провайдерам при необходимости увеличить скорость до 400, 500 или 600 Мбит/с - а после этого появится DOCSIS 3.1, который уже ждет своего часа.
При использовании стандарта DOCSIS 3.1 входящая скорость превышает 10 Гбит/с, а исходящая достигает 1 Гбит/с. Достигнуть таких мощностей можно за счет метода квадратурной амплитудной модуляции - она же используется на коротких расстояниях в подводных кабелях. Однако на суше получены КАМ более высокого порядка - 4096КАМ по схеме цифровой модуляции мультиплексирования с ортогональным частотным разделением каналов (OFDM), где, как и в DWDM, сигнал разделяется на несколько поднесущих, передаваемых на разных частотах в ограниченном спектре. Метод ODFM также используется в ADSL/VDSL и G.fast.
Последние 100 метров
Несмотря на то, что FTTC и DOCSIS последние несколько лет доминируют на рынке проводного интернет-доступа Великобритании, будет большим упущением не упомянуть о другой стороне проблемы последней мили (или последних 100 м): мобильные устройства и беспроводная связь.
Вскоре ожидается появление новых возможностей для управления и развертывания мобильных сетей, но пока давайте просто взглянем на Wi-Fi, которая в основном является расширением для FTTC и DOCSIS. Наглядный пример: недавно внедренное и почти полное покрытие городских районов точками доступа Wi-Fi.
Сперва это были всего несколько смелых кафе и баров, но затем BT превратила абонентские маршрутизаторы в открытые точки доступа, назвав это «BT Fon». Сейчас это превратилось в игру крупных инфрастуктурных компаний - Wi-Fi сеть в лондонском метро или интересный проект Virgin «умный тротуар» в Чешаме, Бакингемшир
Для этого проекта Virgin Media просто поместили точки доступа под крышки канализационных люков, которые изготовлены из специального радиопрозрачного композита. Virgin используют множество линий и узлов по всей Британии, так почему бы не добавить несколько Wi-Fi точек, чтобы поделиться доступом с людьми?
В беседе с Саймоном Клементом, старшим технологом Virgin Media, создается впечатление, что внедрение умного тротуара сперва казалось более трудной задачей, чем вышло на самом деле.
«Раньше мы сталкивались с трудностями взаимодействия с местными властями, но в этот раз такого не произошло, - говорит Клемент, - городской совет Чешама активно сотрудничал с нами в работе над этим проектом, и складывалось общее впечатление того, что чиновники повсеместно открыты к внедрению коммуникационных услуг для населения и понимают какую работу необходимо проделать, чтобы реализовать эти услуги»
Большинство трудностей возникают сами по себе или связаны с регламентами.
«Главная задача в том, чтобы мыслить нестандартно. К примеру, стандартные проекты беспроводного доступа предполагают установку радиоточек настолько высоко, насколько позволяет административный регламент, и эти точки работают с мощностью, максимальный уровень которой ограничивается тем же регламентом. Мы же попытались установить точки доступа под землей, чтобы они работали на мощности простого домашнего Wi-Fi»
«Нам пришлось идти на множество рисков по ходу проекта. Как и во всех инновационных проектах, предварительная оценка рисков актуальна до тех пор, пока объем работ остается неизменным. На практике это случается крайне редко, и мы вынуждены регулярно производить динамическую оценку рисков. Существуют ключевые принципы, которых мы стараемся держаться, особенно в работе с беспроводным доступом. Мы всегда придерживаемся ограничений стандарта EIRP (эффективная изотропно излучаемая мощность) и всегда используем безопасные рабочие методы применительно к радио. Когда имеешь дело с радиоизлучением, лучше быть консерватором».
Назад в будущее кабельного Интернета
Далее на горизонте для сети POTS от Openreach стоит G.fast, который лучше всего можно описать как конфигурацию FTTdp (оптическое волокно к точке раздачи). Опять же, это переходник от оптоволокна к медному кабелю, но DSLAM будет размещен еще ближе к конечному пользователю, над телеграфными столбами и под землей, а на последних десятках метров кабеля будет привычная медная витая пара.
Идея заключается в том, чтобы расположить оптоволокно как можно ближе к клиенту, одновременно минимизируя длину медного кабеля, что теоретически позволяет достигать скорости подключения от 500 до 800 Мбит/с. G.fast работает с гораздо большим диапазоном частот нежели VDSL2, так что длина кабеля сильнее влияет на работоспособность сети. Однако, некоторые сомневаются, что при таком раскладе BT Openreach будет оптимизировать скорость, так как, по причине высокой стоимости, для предоставления таких услуг им придется вернуться к узловому телекоммуникационному шкафу и пожертвовать скоростью: она снизится до 300 Мбит/с.
Есть еще FTTH. Openreach изначально отложили FTTH - они разработали лучший (читай: дешевый) способ передачи, но недавно заявили о своей «амбиции» начать широкомасштабное внедрение FTTH. Технологии FTTC или FTTdp наиболее вероятно станут краткосрочным и промежуточным решением для многих пользователей, которые пользуются услугами кабельных провайдеров, в свою очередь являющихся оптовыми клиентами Openreach.
С другой стороны, нет основания полагать, что Virgin Media собирается почивать на коаксиальных лаврах: пока их конкурент-телекоммуникационный гигант обдумывает свои ходы, Virgin стабильно поставляет услуги FTTH, охватывая 250 тысяч пользователей и ставит целью достичь 500 тысяч в этом году. Проект Lightning, с помощью которого в течение следующих нескольких лет к сети Virgin подключатся еще четыре миллиона домов и офисов, включает один миллион новых подключений по FTTH.
В нынешней ситуации Virgin использует технологию RFOG (радиочастота по стекловолокну) и таким образом появляется возможность использовать стандартные коаксиальные роутеры и TiVo, но значительное влияние в сфере FTTH в Великобритании дает компании несколько дополнительных опций в будущем, когда спрос на широкополосный пользовательский доступ возрастет.
Последние несколько лет также были благоприятны для мелких и независимых игроков вроде Hyperoptic и Gigaclear, которые выпускают свои собственные оптоволоконные сети. Их площадь покрытия все еще крайне ограничена парой тысяч жилых домов в центре города (Hyperoptic) и сельскими поселениями (Gigaclear), но рост конкуренции и вложений в инфрастуктуру никогда не ведет к плохому.
Вот и все дела: в следующий раз, смотря видео на YouTube, вы в подробностях будете знать, как оно движется с облачного сервера на ваш компьютер. Это может казаться очень легким, - особенно с вашей стороны - но теперь вы знаете правду: всё работает на смертоносных кабелях в 4000 вольт, 96 тоннах батарей, тысячах литров дизельного топлива, миллионах миль кабелей «последней мили» и излишестве в избытке.
Сама система тоже будет становиться все больше и безумней. Для умных домов, носимой электроники и ТВ с фильмами по запросу понадобится больший диапазон, большая надежность и больше мозгов в колбах. Хорошо жить в наше время.
Боб Дормон (Bob Dormon)
Перевод осуществлен проектом Newочём
источник