Подохший винчестер
У меня есть один подконтрольный мне сервер, который стоит у одной моей знакомой. Собирал этот сервак еще я, чуть больше года назад, потом, где-то весной, наверное, была поменяна материнка со всеми причиндалами, т.к. та, которая стояла периодически висла, висла намертво и это никак не лечилось - в китайсткой мамке, судя по отзывам в инете была допущена ошибка в разводке, из-за чего периодически возникали ошибки ОЗУ. После смены железа на тот сервак мною была поставлена Gentoo, настроен RIAD плюс LVM. Почему так сложно, да просто были куплены два винчеста по терабайту, их объединил в RAID1, плюс валялись старенькие по 320 гигов, вот я парочку также в RAID1. А чтобы все это выглядело одним куском дискового пространства я объединил в один диск, общим объемом, соответственно, в 1,3 терабайта. Сервак этот выполняет несколько функций, это раздача инет, причем не только по кабелю, но и по WiFi - в компе стоит карточка WiFi, файлопомойка, качалка торрентов, ну и принтсервер - к нему еще лазерный хьюлит подключен. И все это очень хорошо работало.
Неделю назад мне приспичило наконец-то настроить на том серваке отправку мне писем в случае каких-то проблем. Конечно, т.к. делаю я все это в свое удовольствие, то настроил я только отправку демоном smartd и mdadm, ну а что-то большее (например в случае пропадания электричества) я решил отложить на потом. Ну, вроде, настроил, проверил и практически забыл. Единственное, в глубине души было немного жаль, что он мне не пишет писем, хотя раз не пишет, то все хорошо. :)
И вот вчера с утра, проверяю мыло и вижу штук пять писем от этого сервака. "Радости" моей не было придела, значит все-таки работает. :) Ладно, начинаю разбираться и обнаруживаю, что в 8 с копейками утра из системы исчезли два (!) винчестера одновременно. Причем, что удивительно, один на 320 гигов и один на терабайт. Соответственно мне и пришли письма, сначала от демона smartd, который мне радостно сообщил, что с двух устройств он не может считать смарт и от mdadm, что два массива повреждены. Я прям так и офигел. Потому что я никогда себе даже представить не мог, чтобы два винчестера отказали в одну минуту. Причем, ладно бы из-за сильного скачка электричества, но там стоит упс, да и электричество более менее стабильно кажет 230 вольт (по показаниям упса).
В общем, я был ошарашен, и сразу начал придумывать варианты восстановления в нормальный режим работы всего этого чуда. Самое интересное, что знакомая, у которой это чудо техники стоит, даже не замечала проблем. Хотя, чего тут удивительного, не зря же я в свое время RAID ставил. В общем, для начала я решил сервак просто перезагрузить. Мне подумалось, что возможно это просто какой-то глюк. Хотя я прекрастно понимал, что этот комп работает месяцами без проблем, последний раз когда смотрел аптайм был 44 дня. Да и за всё время как он работает проблем связанных с железом не было никаких. Ладно, перезагрузил. Он живенько перезагрузился и снова зайдя на него я увидел, что один из пропавших винтов объявился, объявился винт на терабайт, а вот на 320 нету и как-будто никогда и не было.
Ну, появлением терабайтного винта я, конечно, обрадовался, и возникла мысль, что возможно просто что-нибудь отошло. Отзвонился знакомой, напросился в гости. Договорились на вечер на после работы. Пока делать было нечего запустил восстановление рэйда и он потихоньку стал его восстанавливать.
Вечером я, наконец-то, получил физический доступ к компу и с помощью фонендоскопа вычислил какой из двух одинаковых винтом не работает. Как оказалось этот винчестер перестал вообще даже запускаться, т.е. подаешь на него питание, а он даже не пытается завестись. И после этого у меня родилась законченная картина произошедшего. Когда этот винт на 320 гигов, что называется, прилег под березой и дал дуба, он еще и подвесил контроллер на котором сидел терабайтник, поэтому отвалилось сразу два винта.
Ну, пообщавшись с хозяйкой железа, решили, что т.к. денег пока на новый винт нету, то исключаем из lvm тома этот на 320 гигов винт и оставляем тока терабайтное зеркало. Трупика я из системника вынул, отдал ей на хранение, сказал что будет время посмотрю.
Вот такие пироги. Прикинули с ней сколько лет маленьким винчестерам, получилось, что порядка 7 лет. Причем, когда я их покупал я их покупал оба сразу и тоже для рэйда. Работали они все эти семь лет практически непрерывно, потому что инет у меня был медленный и комп круглосуточно раздавал торренты. Ну и кому будет интересно, модель мертвого винчестера WDC WD3200YS-01PGB0, на его собрате по информации смарта время работы 29000 часов, получается довольно мало, всего три с небольшим года.
Какие из этого всего можно сделать выводы? Я сделал для себя несколько выводов, это то, что мониторинг смарта не панацея, т.к. в данном случае ничего не предвещало смерти, он просто остановился; программный рэйд в линуксе прекрасно работает и справляется со своими задачами; ну и самое главное, это то, что как хорошо, что я в свое время не поленился, не пожмотничал и заделал винчестеры в рэйд ,если бы не это сейчас было бы столько проблем по спасению инфы, а так, отделались легким испугом и уменьшением на 25% объема дискового пространства.
Неделю назад мне приспичило наконец-то настроить на том серваке отправку мне писем в случае каких-то проблем. Конечно, т.к. делаю я все это в свое удовольствие, то настроил я только отправку демоном smartd и mdadm, ну а что-то большее (например в случае пропадания электричества) я решил отложить на потом. Ну, вроде, настроил, проверил и практически забыл. Единственное, в глубине души было немного жаль, что он мне не пишет писем, хотя раз не пишет, то все хорошо. :)
И вот вчера с утра, проверяю мыло и вижу штук пять писем от этого сервака. "Радости" моей не было придела, значит все-таки работает. :) Ладно, начинаю разбираться и обнаруживаю, что в 8 с копейками утра из системы исчезли два (!) винчестера одновременно. Причем, что удивительно, один на 320 гигов и один на терабайт. Соответственно мне и пришли письма, сначала от демона smartd, который мне радостно сообщил, что с двух устройств он не может считать смарт и от mdadm, что два массива повреждены. Я прям так и офигел. Потому что я никогда себе даже представить не мог, чтобы два винчестера отказали в одну минуту. Причем, ладно бы из-за сильного скачка электричества, но там стоит упс, да и электричество более менее стабильно кажет 230 вольт (по показаниям упса).
В общем, я был ошарашен, и сразу начал придумывать варианты восстановления в нормальный режим работы всего этого чуда. Самое интересное, что знакомая, у которой это чудо техники стоит, даже не замечала проблем. Хотя, чего тут удивительного, не зря же я в свое время RAID ставил. В общем, для начала я решил сервак просто перезагрузить. Мне подумалось, что возможно это просто какой-то глюк. Хотя я прекрастно понимал, что этот комп работает месяцами без проблем, последний раз когда смотрел аптайм был 44 дня. Да и за всё время как он работает проблем связанных с железом не было никаких. Ладно, перезагрузил. Он живенько перезагрузился и снова зайдя на него я увидел, что один из пропавших винтов объявился, объявился винт на терабайт, а вот на 320 нету и как-будто никогда и не было.
Ну, появлением терабайтного винта я, конечно, обрадовался, и возникла мысль, что возможно просто что-нибудь отошло. Отзвонился знакомой, напросился в гости. Договорились на вечер на после работы. Пока делать было нечего запустил восстановление рэйда и он потихоньку стал его восстанавливать.
Вечером я, наконец-то, получил физический доступ к компу и с помощью фонендоскопа вычислил какой из двух одинаковых винтом не работает. Как оказалось этот винчестер перестал вообще даже запускаться, т.е. подаешь на него питание, а он даже не пытается завестись. И после этого у меня родилась законченная картина произошедшего. Когда этот винт на 320 гигов, что называется, прилег под березой и дал дуба, он еще и подвесил контроллер на котором сидел терабайтник, поэтому отвалилось сразу два винта.
Ну, пообщавшись с хозяйкой железа, решили, что т.к. денег пока на новый винт нету, то исключаем из lvm тома этот на 320 гигов винт и оставляем тока терабайтное зеркало. Трупика я из системника вынул, отдал ей на хранение, сказал что будет время посмотрю.
Вот такие пироги. Прикинули с ней сколько лет маленьким винчестерам, получилось, что порядка 7 лет. Причем, когда я их покупал я их покупал оба сразу и тоже для рэйда. Работали они все эти семь лет практически непрерывно, потому что инет у меня был медленный и комп круглосуточно раздавал торренты. Ну и кому будет интересно, модель мертвого винчестера WDC WD3200YS-01PGB0, на его собрате по информации смарта время работы 29000 часов, получается довольно мало, всего три с небольшим года.
Какие из этого всего можно сделать выводы? Я сделал для себя несколько выводов, это то, что мониторинг смарта не панацея, т.к. в данном случае ничего не предвещало смерти, он просто остановился; программный рэйд в линуксе прекрасно работает и справляется со своими задачами; ну и самое главное, это то, что как хорошо, что я в свое время не поленился, не пожмотничал и заделал винчестеры в рэйд ,если бы не это сейчас было бы столько проблем по спасению инфы, а так, отделались легким испугом и уменьшением на 25% объема дискового пространства.