"Подарочный блэкаут"

[hvostat_hvostat]

(три сервера в конкретно нашем случае)

Бывший коллега уже упомянул у себя, что 21-го декабря в ЦОД StoreData, где стоят наши машины, произошел блэкаут.

Владельцы прокомментировали это так: "при тестировании системы резервного энергоснабжения произошла цепочка внештатных ситуаций".
Как говорится: никому верить нельзя. Хотели пёрнуть - а обосрались. Окей, бывает, да.

Блэкаут был кратковременный, буквально 10 минут. Но при этом вырубило ОБА луча питания.
И этого хватило, чтобы лично у нас сдохло три IBM-овских сервака.

Есть такое понятие как МПА. "Максимальная проектная авария".
У нас было задублировано (в отдельных случаях даже троировано) всё. Мы просчитывали отказ ЛЮБОГО из двух компонентов нашей IT-инфраструктуры.

Жители страны розовых пони могут резонно заметить - а чо ж вы устойчивость на уровне ЦОДа-то не обеспечили, ай-яй-яй?
А потому что, мой потенциальный юный читатель - мы - не гугл и не амазон и денег на два ЦОДа - не завозят.

Но блять никогда не могли подумать, что какой-то сракорукий кретин за 10 дней до нового года "дёрнет рубильник" наглухо, чтоб у него, блять самого РУБИЛЬНИК отсох!!111адинадин

Коллега был там вчера: инженеры буквально дрались за мониторы с клавиатурой, чтобы понять - сдохли ли их железки или просто "в задумчивости".
Цитирую:
"Народа толпа, на проход очередь, СКУДы не работают..."
"приходили чуваки с пакетами из макдака, и готовностью сидеть до утра.

Сегодня мы с другим коллегой поехали туда же: обычно там пусто - сегодня (т.е. через сутки после аварии) там сидело три человека, грустно что-то набивали в консолях за ноутбуками.

Через пару часов другие ребята провезли на "телеге" две мёртвых "хранилки" IBM-овских, ЕМНИП DS4700 или подобных.

Еще через час из гермозоны вышел мужчина, держа в руках внешний диск и обратился к нам:
- Коллеги, можно у кого-то проверить мой внешний HDD? Он почему-то не стартует, я хочу понять, жив ли он в принципе... Там - бэкапы...
- По вашему грустному лицу, как только вы вышли из гермозоны, я сразу понял, что там у вас ИМЕННО БЭКАПЫ, - ответил я.

Сколько часов чужих жизней просрано впустую, сколько километров нервов сожжено, сколько железа подохло и убытков нанесено - я даже боюсь себе представить.

Воистину, защититься можно от всего в жизни. КРОМЕ ДОЛБОЁБОВ!

С наступающим вас, коллеги.
Берегите себя, и пусть защитит вас Тьюринг от подобного говна не только в следующем году, но во всей жизни!

__