о порче данных

Nov 09, 2024 12:35

(для программистов и сочувствующих ( Read more... )

программирование

Leave a comment

Comments 52

Хех! :) de_nada November 9 2024, 10:43:36 UTC


Поэтому для хранения (холодных) данных надёжнее брать не ssd, а hdd.

С уважением.

p.s. Что-то очень важное при этом (помимо естественного дублирования на нескольких носителях) можно ещё паковать RAR`ом с избыточностью (можно в формате store, с нулевым сжатием).

UPD: Плюс перелёт: если ssd с данными подвергался "просвечиванию", то могло и не повезти ещё и из-за этого - не зря же ноуты на досмотрах САБ включают для проверки, а не суют в интравизоры.

Ну и тема с передачей архивов "по проводам" получается надёжнее?

Reply

Re: Хех! :) urease November 9 2024, 12:23:39 UTC
SSD разве не летит целыми кусками? Здесь побитово

Reply

- de_nada November 9 2024, 12:38:06 UTC


А речь не о неисправности ("летит"-"не летит"), а о том, что с микросхем флеш-памяти выключенного ssd "стекает" заряд.
И чем современнее ssd, чем больше его объём (читай - "тонкость" техпроцесса и плотность "упаковки битов"), тем больше риск потери данных на нём.

Ну и та же "тонкость" ("3D-flash" всякий) делает ssd всё более уязвимым к воздействиям - ЭМ, облучение (интравизоры, космические частицы на эшелоне при перевозке, да что угодно.

С уважением.

P.S. А против "летит" у ssd есть WLA - "запасная" ёмкость, вводимая контроллером флеша по мере "изнашивания" ёмкости основной.
Не, конечно если физ.блок вылетает внезапно, то данные с него, безусловно, будут потеряны, т.к. контроллер ssd "не успеет" релоцировать с него данные на "свежий" блок. Но это уже тема для отдельного разговора. :)

Reply

RE: - edo_rus November 11 2024, 09:48:02 UTC

ну вообще используется кодирование с избыточностью, так что маловероятно, что сбои окажутся локализованным в отдельных битах

Reply


livelight November 9 2024, 10:51:02 UTC
Я бы первым делом заподозрил кривую программу или вирус. Вторым - контроллер диска. И только третьим - память.
Битый бит в памяти выстрелил бы гораздо раньше, регулярно что-нибудь накрывалось бы. Да даже и битый контроллер диска, портящий данные.

Помнится, я когда-то давно ставил DSL-модем, к нему поначалу скачал какой-то кривой софт для PPPoE, и там тоже пакеты со страшной силой портились. А потом скачал другой софт, и всё заработало.

Reply

edo_rus November 11 2024, 10:19:50 UTC

контроллер диска, если это nvme, по сути отсутствует, диск просто висит на шине pcie. передача данных по шине с контрольными суммами/избыточным кодированием, так что тут порча одиночных бит маловероятна.

вирусы… хз, не особо в теме, но мне кажется время таких вирусов ушло, сегодня они коммерциализированы (ботнеты, шифрование данные и вымогательство).

кривая программа для копирования - ну вы сравнили реализацию ppp (с опциональной компрессией) и копирование, в первом случае поток байт обрабатывается, во втором данные читаются в буфер и зписывются из буфера (если вообще не испольщуется функция операционной системы, которая сама всё это делает).

так что версия с ошибками памяти остаётся наиболее вероятной. кстати, это не обязательно модули памяти, может быть контроллер памяти или кэши.

Reply

livelight November 11 2024, 10:23:38 UTC
Если это был переносной SSD, на котором данные везли из Америки в Израиль, то я скорее предположу подсоединение по USB, чем по NVME.

Reply

edo_rus November 11 2024, 11:11:03 UTC

там тем более чексуммы есть. и «третий бит стабильно меняется на 1» нехарактерно для последовательных шин

Reply


harkov1 November 9 2024, 11:00:54 UTC
> у партнеров осталась оригинальная копия (странное словосочетание, если задуматься).

Оригинал, в котором нет ошибок копирования.

Reply

klausnick November 9 2024, 11:30:17 UTC

Copy чаще переводится как экземпляр, а не копия. Обычная ошибка.

Reply


janatem November 9 2024, 11:02:20 UTC
> запустил рекурсивный md5sum на все дерево

По идее всю работу должен автоматически сделать rsync. Возможно, он бы даже сэкономил трафик, копируя битый файл не целиком, а только блок (или как он там работает). С другой стороны, для исследования того, что именно портится, всё равно пришлось бы вручную или другими инструментами разглядывать обе копии.

Reply

ext_2258538 November 9 2024, 11:12:02 UTC
да, rsync бы помог, но если на стороне источника windows то нужно его ставить. + По умолчанию rsync считает что если размер файла и дата изменения одинаковые то и файл одинаковый, нужно не забыть ключ -c для чексумм.

Reply


thevaleks November 9 2024, 11:22:35 UTC
>Но копировать 2TB было немного болезненно
а можно уточнить для не местных
скорость маленькая или инет не анлим?

+
идея с хешами интересная

Reply

hardsign November 9 2024, 11:40:10 UTC
Если идея с хешами вам понравилась, погуглите дерево Меркла.

Reply


Leave a comment

Up