(Untitled)

Sep 26, 2012 17:15

Собственно, описание Великого Пиздеца: http://habrahabr.ru/company/selectel/blog/152351/

selectel cloud, грабли, selectel

Leave a comment

metaclass September 26 2012, 15:05:27 UTC
А что вообще положено делать вам и вашим клиентам для того чтобы не убить данные в таком случае? Даунтайм понятно - это минус чуть-чуть упущенной прибыли, одноразово, форс-мажоры бывают, компенсировали, забыли.

Но "убились нахрен все данные клиентов" - это же печаль какая-то совсем. Ладно, предположим клиенты (наученные) делают бэкап себе, а с вашей стороны хоть какая-то техническая возможность избежать хотя бы повреждения FS есть?

Reply

amarao_san September 26 2012, 16:19:07 UTC
С точки зрения виртуалок это всё было как "отключили по питанию".

А "потеря данных"... Я лично наблюдал клиента, который пытался убедить fsck сделать проверку для PV-тома на LVM. Такому ума хватит метаданные ext3 поверх метаданных LVM накатать.

Reply

metaclass September 26 2012, 17:06:49 UTC
Т.е. журнализация в файловых системах таки работает нормально, в смысле что они переживают отключение питания как положено, не умирая?

Просто я удолбался выяснять аналогичный вопрос про базы данных. По любой логике сбой питания - такая же проблема, как и все остальные, и соответственно транзакции после commit должны быть на диске и после включения их изменения будет видно.
Но на практике возникают разнообразные вопросы вида "а рейд-контроллер ли у вас с батарейкой", "без UPS базы регулярно дохнут", т.е. практически базы данных не всегда переживают издевательство с выключением машин.

Reply

amarao_san September 26 2012, 17:55:05 UTC
Ключевое: write cache. Отсюда требование батарейки. Если нет батарейки и есть write cache - то при фейле всего и вся теряется не только current state, но и некий произвольный кусок предыдущих. Не факт, что консистентый с точки зрения БД.

У нас потому SSD (RAID10 over SSD) для кеширования на запись и используется, чтобы в случае эпикфейла всего лишь продолжнить работу.

Reply

vlad_rulez September 27 2012, 10:58:05 UTC
>> Т.е. журнализация в файловых системах таки работает нормально, в смысле что они переживают отключение
>> питания как положено, не умирая?

У ext4 да, ext3 может в редких случаях данные терять, особенно на больших разделах с терабайтами инфы. В случаях восстановления файловой системы чем больше раздел и чем больше на нём лежит - тем хуже.

reiserfs - как повезет, чтобы дохло по питанию с включенным write cache было 1 раз, еле просрались потом. 12 часов проверок, восстановлений и танцев с бубном.

по xfs статистики нет, может в будущем появится.

Reply

amavlyanov September 27 2012, 21:44:18 UTC
не исключено что это был я. просто потому что я забыл что там lvm.

Reply

amarao_san September 27 2012, 21:45:35 UTC
Вы писали метаданные ext4 поверх LVM? O_o

Reply

amavlyanov September 27 2012, 21:46:44 UTC
нет, слава й-цам, до такого я бы не дошёл. но вот запустить fsck на lvm-том - это да, это я отжог...

Reply


Leave a comment

Up