Телеком по-немецки
В прошлом месяце один из наших транзитных провайдеров подал заявку на премию Дарвина. Эти альтернативно одаренные люди прислали нам уведомление о предстоящих работах на сети, которые в силу отказоустойчивости "не несут риска". Ну не несут так не несут, не первый раз такие работы у них... В итоге в час ночи они радостно отрапортовали об окончании работ, после чего пропустили откуда-то левый маршрут, который устроил петлю и уронил все их маршрутное ведро ядро наглухо. А самое эпичное, что все это время они продолжали анонсировать в мир клиентские префиксы, включая наши. Даже после того как я отозвал BGP анонсы.
Пока я срочно перестраивал маршрутизацию, чтобы завернуть как можно больше входящего трафика через другие наши аплинки, начальник пытался дозвониться до их NOC. Там на телефон ответил чувачок с первой линии техподдержки, не знающий что такое BGP и оказавшийся не в курсе аварии, но милостиво пообещавший разбудить дежурного инженегра. Добудились того через час, и еще часа три ушло у них на устранение этого бардака. Что это было, они признаваться отказались, списав всё на "баг в прошивке маршрутизатора". Мы верим, ага.
С утра было много разборок и письмо этим редискам о разрыве договора. Редиски крайне удивились, ведь ачотакова, с кем не бывает. Сегодня подписали договор с новым апстримом. А мне урок на будущее: не верить провайдерам и не вестись на их "риска нет", объявляют работы на сети - отзывай анонсы и гаси сессию.
Пока я срочно перестраивал маршрутизацию, чтобы завернуть как можно больше входящего трафика через другие наши аплинки, начальник пытался дозвониться до их NOC. Там на телефон ответил чувачок с первой линии техподдержки, не знающий что такое BGP и оказавшийся не в курсе аварии, но милостиво пообещавший разбудить дежурного инженегра. Добудились того через час, и еще часа три ушло у них на устранение этого бардака. Что это было, они признаваться отказались, списав всё на "баг в прошивке маршрутизатора". Мы верим, ага.
С утра было много разборок и письмо этим редискам о разрыве договора. Редиски крайне удивились, ведь ачотакова, с кем не бывает. Сегодня подписали договор с новым апстримом. А мне урок на будущее: не верить провайдерам и не вестись на их "риска нет", объявляют работы на сети - отзывай анонсы и гаси сессию.