Восстановление информации на жестких дисках компьютеров: взгляд изнутри (продолжение)
Илья Зайдель: Николай, а как вы сами-то в этот бизнес пришли?
Николай Хозяинов: Скорее, бизнес сам пришел. Мы с партнёром руководили компанией, которая занималась обслуживанием оргтехники. Ремонт компьютеров и принтеров, заправка картриджей, локальные сети, офисные АТС - в общем, делали почти всё.
С определённого момента нашим клиентам стало всё чаще требоваться восстановление данных. Это было во времена массового выхода из строя жестких дисков Fujitsu серии MPG (2002 год. - И.З.). Понимая, что для таких работ квалификации наших ремонтников совершенно недостаточно, мы искали субподрядчика. Но не нашли никого, кто бы нас устроил.
Поэтому сами купили аппаратно-программный комплекс PC-3000 от компании ACE Lab. Кстати, эта ростовская организация является мировым лидером в области производства оборудования для Data Recovery, что очень нас радует и даёт повод для гордости.
Первое время я выполнял работы на PC-3000 сам. Скромного опыта хватало, чтобы справляться с поступающими заказами, поскольку большинство случаев потери данных в то время были связаны с программными проблемами или с типовыми неисправностями Fujitsu MPG, которые устранялись простой перезаписью одного из служебных модулей.
Постепенно я настолько увлёкся Data Recovery, что стал заниматься только этим, отойдя от других дел. Через некоторое время мы с партнёром решили разделить бизнес - так появился R.LAB в виде самостоятельной компании.
С опытом пришло понимание того, что восстановление данных не сочетается с какой-либо другой деятельностью. Поэтому я начал отходить от технической работы и сейчас выполняю только администраторские функции.
Устаревшие диски и приводы в R.LAB. На верхней полке - артефакты докомпьютерной эры: есть чем развлечь гостей
Илья Зайдель: Я слышал, что некоторые наши специалисты DR летом колесят по Европе, гостят у коллег и выполняют накопившиеся сложные заказы. Попутно передают свой опыт. И отдых, и заработок. Но вернемся к нашим делам. Сейчас широко используются RAID-массивы, благо эта функция встроена почти в каждую материнскую плату. Как вы восстанавливаете данные с массивов и что можете посоветовать их пользователям?
Николай Хозяинов: Пользователям могу посоветовать делать резервные копии, массив - не панацея. С ними к нам часто обращаются.
В общих чертах восстановление данных с RAID-массивов выполняется так:
- сначала снимаются посекторные копии с неисправных дисков, если таковые имеются,
- затем массив собирается программными методами на нашем оборудовании.
В простых случаях, если у вас есть нужное количество образов на исправных дисках (для RAID 5, например, это n-1, где n - общее количество дисков в массиве), массив можно собрать самостоятельно. По этой теме в Сети есть немало полезных материалов.
Есть массивы, которые простыми методами не собираются. Как правило, это связано с нестандартной конфигурацией и расположением служебных секторов. Что делать в подобных случаях - быстро не расскажешь, здесь уже требуется опытный специалист и индивидуальный подход.
На этом стенде собираются RAID-массивы. Емкости подсистемы хранения достаточно для самых сложных работ
Илья Зайдель: Что вы скажете о надежности твердотельных накопителей SSD? Можно ли их использовать для ответственных задач? И почему так дорого стоит восстановление?
Николай Хозяинов: Технология ещё достаточно молодая, производители только ищут и обкатывают оптимальные технические решения. Вероятно, в перспективе SSD превзойдут по надёжности HDD, но сейчас им до этого ещё далеко.
Восстановление данных с неисправных SSD действительно стоит дорого, 20000 рублей и выше, и, к сожалению, снизить цену пока возможности нет. Данные с SSD восстанавливаются так же, как и с флешек, принципы одинаковые, просто объём работы намного больше. Там надо выпаять все микросхемы памяти, считать их содержимое, и, самое сложное, собрать из считанного образ диска.
Проблема здесь в том, что SSD, как и флеш-накопители, использует механизм выравнивания износа, который постоянно перемещает логические адреса памяти по физическим ячейкам. И если просто соединить считанные с микросхем данные, мы получим бессмысленную мешанину. Поэтому требуется восстановить таблицу трансляции и собрать образ файловой системы в соответствии с ней. Работа кропотливая, во многом пока ручная.
Илья Зайдель: Стало быть, с SSD стоит быть поосторожнее. А что вы скажете про жёсткие диски? Какая марка и какой модельный ряд показали, по вашей статистике, наибольшую надежность и какие - наименьшую?
Николай Хозяинов: В современных условиях модельные ряды жестких дисков меняются быстрее, чем мы успеваем понять степень их надёжности. Поэтому по нынешнему рынку сказать что-то определенное трудно. В дисках всех производителей используется сходный набор технологий, так что и надежность у них примерно одинакова. Время от времени тот или иной производитель выпускает дефектную партию или модель, но к моменту, когда эти диски начинают массово попадать в ремонт, они уже исчезают из продажи.
Переплачивать за модели корпоративного класса, которые позиционируются производителями как более надёжные, смысла не видим - опыт показывает, что они выходят из строя с той же вероятностью. (Я бы не был столь категоричен: корпоративные диски рассчитаны на круглосуточную работу под высокой нагрузкой, они лучше выдерживают перегрев, вибрации от соседних дисков в корзине и прочие невзгоды эксплуатации. Другое дело, что в обычных условиях такая выносливость от накопителей и не требуется. А от ударов или плохого питания дорогие диски мрут точно так же, как и дешевые. - И.З.)
Разумно будет взять модель, которая выпускается как минимум полгода (чтобы не нарваться на «детские болезни») и чьи характеристики в точности соответствуют требованиям рабочего места - не меньше, но и не больше. Скажу о модных «зеленых» сериях: низкий нагрев и шум в них достигаются за счет уменьшенной скорости вращения (5400-5900 об./мин) и замедленного позиционирования головок. Поэтому для размещения ОС и вообще для произвольного доступа они не очень подходят, зато отлично служат как хранилище мультимедийных данных.
И помните: вопрос не в том, сломается диск или нет, а в том, когда это произойдет. Продлить жизнь диску помогает правильная эксплуатация. Уделите внимание питанию и охлаждению, защитите диск от ударов и вибрации, контролируйте его состояние - и вероятность аварии заметно уменьшится.
Один из стеллажей с дисками-донорами. Это примерно десятая часть от общего количества. Покупка доноров - существенная статья расходов любой DR-компании, ведь одна и та же модель может выпускаться в десятке несовместимых вариантов (по комплектующим и прошивке)
Илья Зайдель: Почему флешки стали такими ненадежными? Как правило, при активной эксплуатации они больше года не живут - ломаются, либо начинают «глючить», портить и терять данные. В то же время у меня есть флешка 6-летней давности, и она до сих пор в полном порядке, разве что краска облезла.
Николай Хозяинов: Основная причина - давление рынка, требующего от производителей «больше, быстрее и дешевле». Отсюда и следствия:
- удешевление элементной базы и конструкции всеми доступными способами. Экономят даже на припое, а дискретные стабилизаторы и фильтры уже давно не ставят;
- максимально сжатые сроки разработки и тестирования новых моделей. Зачастую на рынок попадают непроверенные сырые решения, ведущие к скорым отказам;
- флеш-память имеет ограниченный ресурс по числу перезаписей. И современное поколение микросхем, применяемое в недорогих моделях, имеет значительно меньшее значение этого показателя, чем предыдущие поколения. При интенсивном обновлении данных на флешке (типичный пример - бухгалтерские базы данных) проблемы начинаются спустя считанные месяцы.
Илья Зайдель: На вашем сайте выложен ряд бесплатных утилит для восстановления данных. Вы не боитесь, что это уменьшит число ваших клиентов?
Николай Хозяинов: Считаю, что каждый должен заниматься своим делом. Грамотный пользователь в простых случаях вполне способен восстановить данные самостоятельно. Мы стремимся заниматься задачами, достойными уровня наших специалистов, а не брать деньги за то, что люди могут сделать сами. Хотя, если человеку лень или существуют опасения по причине особой ценности данных, от работы, естественно, не отказываемся.
Будни восстановления данных. Специалисты R.LAB Леонид Воржев (слева) и Валерий Пьянков общаются с клиентами и лично, и по телефону. Иногда приходится быть психотерапевтом и успокаивать встревоженных людей. За рубежом крупные DR-компании даже заводят штатных психологов
Илья Зайдель: Какую технологию вы порекомендуете для длительного и максимально надежного хранения цифровых данных? Например, чтобы человек мог посмотреть свои детские фотографии через 30-40 лет.
Николай Хозяинов: Магнитная лента или жесткий диск. Перезаписываемые оптические диски (CD-R/RW и DVD±R/RW), вопреки расхожему мнению, довольно быстро становятся нечитаемыми. Рекламный срок хранения в 30 лет не подтверждается (главная причина здесь - исходно низкое качество болванок. Выбирать их по брендам сейчас сложно ввиду разброса партий и частых подделок. Также играет роль износ пишущих приводов и несоблюдение условий хранения, на самом деле довольно жестких. - И.З.).
Магнитная лента наиболее надёжна - она проверена полувековым использованием. Но ей требуются приводы (стримеры), которые не слишком доступны. Так что жесткие диски удобнее. У некоторых моделей со временем могут проявляться «врождённые болезни», даже если накопитель просто лежит на полке. Поэтому, если вы храните данные на дисках, желательно иметь хотя бы пару копий и раз в год-два их обновлять, просто перезаписывая заново.
Теперь, когда интервью закончилось, важно добавить несколько уточнений.
Николай Хозяинов упомянул аппаратно-программный комплекс PC-3000, играющий центральную роль в оснащении его компании. Хотелось бы рассказать об этом незаурядном отечественном продукте более подробно. Он позволяет работать с накопителями в недокументированном технологическом режиме и тем самым получать доступ к данным в самых сложных ситуациях.
Комплекс ведет свое начало с дипломной работы бессменного технического директора ACE Lab, выполненной в далеком 1991 году. За свою двадцатилетнюю историю PC-3000 стал практичным и действительно эффективным инструментом для восстановления данных и ремонта HDD. Сегодня им пользуются почти все отечественные и многие зарубежные DR-фирмы. Комплекс постоянно развивается, чтобы расширить его возможности, охватить новые семейства накопителей и, что немаловажно, сократить время восстановления. Обновления программной части выпускаются 3-4 раза в год, а полностью новая версия появляется раз в 2-3 года.
Комплект поставки PC-3000. В него входят кабели, переходники и щупы для всех разновидностей жестких дисков, присутствующих на рынке, включая довольно экзотические (применяющиеся например, в Appe iPod classic)
Аппаратно PC-3000 представляет собой плату расширения для шины PCI, на которой имеются два проприетарных IDE-порта, а также контроллер питания для управления подключенными дисками. Порты позволяют вычитывать данные на скорости до 100 Мбайт/с, что близко к пропускной способности шины. Для нынешних гигантских объемов HDD (до 3 Тбайт, а в скором времени 4 Тбайт) этого уже недостаточно, и ACE разработала плату PC-3000 для шины PCI Express.
Новая плата оснащена 4 портами SATA и 2 портами IDE и позволяет одновременно вычитывать данные с четырех накопителей на скорости до 120 Мбайт/с каждый. Путем замены микросхем SATA-мостов на более производительные скорость может быть поднята до 170 Мбайт/с, что дает достаточный запас на будущее. Серийный выпуск платы PCI Express начнется в конце года после бета-тестирования на реальных задачах. При этом всё ПО будет идентично для обеих версий комплекса.
Для полноценного Data Recovery одного PC-3000 недостаточно. Ведь комплекс работает на низком уровне (модули «служебки» и сектора пользовательской зоны диска), а клиенту в конечном счете нужны его файлы. При восстановлении данных с поврежденных накопителей применяется программный продукт ACE Data Extractor. Ему уже больше десяти лет, и он вобрал в себя немало наработок, позволяющих справляться с тяжелыми случаями.
Так, DE может (разумеется, в тесной связке с PC-3000) вычитывать данные в технологическом режиме. При этом у диска могут быть отключены неисправные головки, модифицирована микропрограмма для обхода блокирующих проверок и т.п. В обычном режиме такой диск в готовность не выходит и чаще всего просто «стучит».
Подобное тонкое вмешательство зачастую позволяет скопировать нужные файлы, не прибегая к перестановке головок - процедуре дорогой, трудоемкой и недостаточно предсказуемой. Ведь поиск донора может затянуться, а головки не всегда «приживаются». В то же время, благодаря высокой плотности записи, требуемый файл во многих случаях умещается на одной дорожке и может быть успешно вычитан, если соответствующая головка жива.
Недавно появилось новое расширение DE - программный комплекс Data Extractor RAID Edition. Как следует из названия, он ориентирован на восстановление данных из поврежденных дисковых массивов. Это стало актуальной проблемой в связи с широким распространением RAID-контроллеров - они встраиваются в большинство материнских плат. При этом надёжность массовых контроллеров довольно низка: при малейшем сбое диска-участника или даже намеке на него (увеличенное время отклика и т.п.) массив разрушается и становится недоступным для ОС. К тому же и пользователи нередко «добивают» массив своим неквалифицированным вмешательством.
Не плачь, блондинка! Есть хороший шанс, что второй раз набивать отчет не придется!
Поэтому в практике Data Recovery всё чаще встаёт задача корректной сборки RAID-массива и вычитывания данных из него. Существующее ПО ориентировано на случаи чисто логических разрушений структур данных и бесполезно при наличии физических повреждений дисков-участников. В таких случаях приходится действовать в два этапа: сначала скопировать все, что можно, с проблемных дисков, а затем пытаться собрать массив из копий. Очевидна трудоемкость и неэффективность подобной работы.
DE RE умеет восстанавливать данные из массивов в случаях, когда один или несколько его участников имеют не только логические, но и физические проблемы. При этом не требуется предварительного создания полной копии: в созданном виртуальном RAID вычитываются только нужные файлы. Это радикально сокращает время восстановления и придает ему максимальную гибкость.
Кроме того, виртуальный RAID (напомним, с участием неисправных накопителей) можно смонтировать в качестве физического диска операционной системы и использовать ПО сторонних производителей, «заточенное» под специфические файловые системы и форматы данных. Это бывает крайне полезно при восстановлении данных с видеорегистраторов, сетевых хранилищ и прочих нестандартных устройств, которые встречаются всё чаще.
Ещё одно преимущество комплекса - автоопределение параметров RAID-массива, основанное на анализе данных файловых систем и данных пользователя. Если неизвестен порядок подключения дисков в массиве (такое, как ни странно, часто встречается), то это дает многократную экономию времени и усилий. Представьте себе 12-18 дисков, составлявших когда-то RAID 50, и вы оцените перспективы.
Надо заметить, что стоит Data Extractor RAID Edition порядочно - от 75000 рублей. Тем не менее он может окупиться всего за два-три заказа: расценки московских DR-компаний на восстановление сложных массивов достигают 30-40 тысяч (фраза о том, что самое дорогое - это данные, обретает новый смысл. - прим. редакции).
Комплекс PC-3000 Flash поддерживает все типы твердотельных накопителей - обычные флешки, карты памяти разных форматов и SSD
Сейчас в ACE Lab много занимаются твердотельными накопителями - SSD, обычными флешками и картами памяти. Они нередко выходят из строя, и чаще всего это связано с контроллером и другими радиоэлементами платы. Причины могут быть как внешние (бросок напряжения, перегрев, механическое воздействие), так и внутренние (повреждение служебных областей флеш-памяти). Основной метод восстановления в этом случае - вычитывание микросхем памяти на физическом уровне и сборка файловой системы.
Вариантов сборки насчитывается уже много тысяч, и не потеряться в них помогает «Система решений» - онлайновая база данных, которую ACE ведет по всем известным типам контроллеров и чипов памяти. В идеале, комплекс PC-3000 Flash сам связывается с базой, получает оттуда формализованный алгоритм для конкретного случая и применяет его к считанному дампу. Через несколько минут собранная файловая система готова к копированию данных.
Реальность, конечно, не так безоблачна. Готовых решений в базе пока маловато (около 1300), и не все из них приводят к успеху. Нередко приходится экспериментировать. Результаты по желанию отправляются в «Систему решений». В ней аккумулируется опыт и статистика сотен специалистов, и со временем автоматизированные режимы становятся все более продуктивными.
Интерактивная система решений PC-3000 Flash. Различные варианты сборки сгруппированы по маркам контроллеров
Из других проблем упомянем низкое качество современных флеш-чипов - при значительном износе ячеек данные с них считываются нестабильно. В новой версии PC-3000 Flash SSD Edition реализовано многократное вычитывание сомнительных мест, а также корректировка данных по ECC-кодам (незаменимо для бухгалтерских баз). В SSD все чаще стало встречаться шифрование данных, а также нестандартные файловые системы (ext4, HFS и др.). Разработчики активно продвигаются в этом направлении, хотя их тормозит нехватка подопытных «кроликов».
PC-3000 Portable - портативная ремонтная станция с несколько урезанным функционалом. Теперь можно носить целую «ремонтную мастерскую» в портфеле
Основа работы с жесткими дисками в технологическом режиме - доскональное знание их микропрограмм. А это совсем не приветствуют производители HDD, стремящиеся скрыть свои решения от конкурентов. Все, связанное с reverse engineering, балансирует на грани дозволенного. Этим, в частности, объясняется закрытость основных методических ресурсов по PC-3000 (документации, веб-форума, почтовой конференции). Ведь производители тоже ими интересуются, хотя бы для того, чтобы ликвидировать «дырки» в новых моделях.
Вот свежий пример. Многим памятен дефект прошивки дисков Seagate 7200.11, известный как «муха CC». После того как его решение разошлось по Интернету (суть сводилась к пересчету транслятора через терминал), последующие семейства уже были модифицированы с тем, чтобы затруднить подобное вмешательство.
«Спасателям» из ACE Lab, а их меньше 50 человек, много лет удается выдерживать темп, набранный ведущими производителями HDD и SSD. Учитывая, что все производители «там», а ACE Lab - здесь, порой приходится непросто, но ничего, справляются. Возможно, историки будущего напишут, что модернизация начиналась с малого…