memento: Про deployment'ы в пятницу.
Дорогие френды! Я тут теперь наверно много буду всяких флэшбэковых постов делать. Постепенно всё глубже в прошлое. В очередной раз вспомнил, что надо как-то себя бэкапить...
Так что вам либо терпеть, либо отписываться, ну или пролистывать.
Так вот. Позавчера (в пятницу) опять заметил такую фигню:
Что-то где-то стало хреново работать.
А именно - в ЖЖ перестали ходить комменты на почту. Вконтакте несколько часов не работали парочка приложений. Ещё какой-то сервис временно глючил.
По моим наблюдениям подобные вещи чаще всего бывают в пятницу вечером.
Некоторые считают, что это якобы от того, что пользователи вдруг, массово придя домой, начинают так же массово сервисы пользовать и они типа с нагрузкой не справляются.
Ага, щаз!
Мы-то с вами знаем, что нормальные люди в пятницу вечером обычно делают.
Кабаки, блядки, походы в гости, семейные вечера (у кого есть семья) и всё такое.
А ещё мы знаем, что в некоторых айтишных конторах календарную неделю считают этакой целостной упаковкой каких-то своих айтишных свершений.
Типа что-то начатое в понедельник должно как бы в пятницу быть законченным. Взяли пачечку найденных багов, новых фич попроще, быстренько накодили их через через жопу, тестеры как-нибудь протестили тоже не очень подробно, апдейт собрали и выдали днём (или даже вечером) в пятницу технарям на деплоймент.
Это чтобы с чистой совестью и пустой головой уже превратится в нормальных людей, которые сами знаете чем в пятницу вечером должны начать заниматься.
Это ещё ладно, если технари работают пять дней по восемь часов. Накатили апдейт и пошли догонять товарищей, которые там уже наливают по второй. До понедельника голова болит не о работе.
А если они круглосуточные?
Поставили апдейтик, клиентов и прочих юзеров уведомили, и затаили дыхание...
Есть ненулевая вероятность, что вылезет какая-нибудь проблема. И с этой проблемой надо срочно что-то делать. Как правило, надо кому-то звонить. Центровым девелуперам, начальнику или ещё какому кодеру. Проблема, может быть, фиксится заменой пары байт, но кто это будет тебе делать в пятницу вечером, когда алкоголь уже впитался или в последнем Шреке началась самая завязка?
Назад откатить?
А если это десяток-другой серверов? А если транзакции уже шебуршат толстым потоком?
В общем, многое приходится невинным людям терпеть.
В любимой конторе, где я три раза работал, было заведено жёсткое правило.
Никаких деплойментов в пятницу!
Если что-то испекли к концу недели - будет поставлено в понедельник. Когда все причастные будут хотя бы трезвыми, доступными по телефону. Проще говоря, подключаемыми в очень короткое время.
Правило это написано километрами отмотанных нервов и какими-то суммами проёбанных денег.
Казалось бы - гениальная вещь.
Но тогда почему не все и не везде так делают?
Догадываюсь, что ребята, имеющие отношение к огромным системам, имеют доступ к логам нагруженности своих систем и прикидывают, когда поудачней устроить немножко даунтайма.
И наверняка системы массового пользования в пятницу малонагружены.
Но как у них с доступностью "факап-фиксеров"? Они что, не бухают?
Ведь если какая, даже мелкая, проблема вылезла на продакшене вечером "короткого дня", у неё есть риск просуществовать более 48 часов.
.
Так что вам либо терпеть, либо отписываться, ну или пролистывать.
Так вот. Позавчера (в пятницу) опять заметил такую фигню:
Что-то где-то стало хреново работать.
А именно - в ЖЖ перестали ходить комменты на почту. Вконтакте несколько часов не работали парочка приложений. Ещё какой-то сервис временно глючил.
По моим наблюдениям подобные вещи чаще всего бывают в пятницу вечером.
Некоторые считают, что это якобы от того, что пользователи вдруг, массово придя домой, начинают так же массово сервисы пользовать и они типа с нагрузкой не справляются.
Ага, щаз!
Мы-то с вами знаем, что нормальные люди в пятницу вечером обычно делают.
Кабаки, блядки, походы в гости, семейные вечера (у кого есть семья) и всё такое.
А ещё мы знаем, что в некоторых айтишных конторах календарную неделю считают этакой целостной упаковкой каких-то своих айтишных свершений.
Типа что-то начатое в понедельник должно как бы в пятницу быть законченным. Взяли пачечку найденных багов, новых фич попроще, быстренько накодили их через через жопу, тестеры как-нибудь протестили тоже не очень подробно, апдейт собрали и выдали днём (или даже вечером) в пятницу технарям на деплоймент.
Это чтобы с чистой совестью и пустой головой уже превратится в нормальных людей, которые сами знаете чем в пятницу вечером должны начать заниматься.
Это ещё ладно, если технари работают пять дней по восемь часов. Накатили апдейт и пошли догонять товарищей, которые там уже наливают по второй. До понедельника голова болит не о работе.
А если они круглосуточные?
Поставили апдейтик, клиентов и прочих юзеров уведомили, и затаили дыхание...
Есть ненулевая вероятность, что вылезет какая-нибудь проблема. И с этой проблемой надо срочно что-то делать. Как правило, надо кому-то звонить. Центровым девелуперам, начальнику или ещё какому кодеру. Проблема, может быть, фиксится заменой пары байт, но кто это будет тебе делать в пятницу вечером, когда алкоголь уже впитался или в последнем Шреке началась самая завязка?
Назад откатить?
А если это десяток-другой серверов? А если транзакции уже шебуршат толстым потоком?
В общем, многое приходится невинным людям терпеть.
В любимой конторе, где я три раза работал, было заведено жёсткое правило.
Никаких деплойментов в пятницу!
Если что-то испекли к концу недели - будет поставлено в понедельник. Когда все причастные будут хотя бы трезвыми, доступными по телефону. Проще говоря, подключаемыми в очень короткое время.
Правило это написано километрами отмотанных нервов и какими-то суммами проёбанных денег.
Казалось бы - гениальная вещь.
Но тогда почему не все и не везде так делают?
Догадываюсь, что ребята, имеющие отношение к огромным системам, имеют доступ к логам нагруженности своих систем и прикидывают, когда поудачней устроить немножко даунтайма.
И наверняка системы массового пользования в пятницу малонагружены.
Но как у них с доступностью "факап-фиксеров"? Они что, не бухают?
Ведь если какая, даже мелкая, проблема вылезла на продакшене вечером "короткого дня", у неё есть риск просуществовать более 48 часов.
.