Заменяем диск в zfs raidz

[2gusia]

Эта запись встает на место одноименной записи от 2013 г. С тех пор много воды утекло, старую я не удаляю. Тем более, что настоящая запись - про замену диска в zfs массиве на именованных gpt разделах. А старая - про другие варианты

Comments

zfs mirror

[ext_5354794]

Добрый день!

Применима ли эта инструкция для замены диска в zfs mirror массиве?

Мой массив:
root@ars:~# zpool status
pool: pool4
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
pool4 ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
gpt/WCC7K7VYN3ZV ONLINE 0 0 0
gpt/WCC7K5ZUFFRZ ONLINE 0 0 0

Re: zfs mirror

[2gusia]

Я просмотрел - все можно делать. Но с зеркалом у вас больше гибксти. Вместо замены - которая, конечно, работает, вы можете сделать тройное зеркало - а потом отключить старый диск.
https://www.freebsd.org/cgi/man.cgi?query=zpool-attach&sektion=8&apropos=0&manpath=FreeBSD+13.0-RELEASE+and+Ports

восстановление битого диска в пуле

[prepres90]

Добрый день!
Спасибо полезные статьи!
Есть вопрос: у меня RAIDZ-1 на 5ти дисках. Два диска перестали работать. Тоесть пул развалился. Если я смогу один диск побитно склонировать на новый носитель (в компании по восстановлению данных) и вернуть новый диск в пул, после чего импортировать пул заново в режиме ридонли - пул заведется или нет?

Re: восстановление битого диска в пуле

[2gusia]

Такая вероятность есть. Но именно вероятность - зависит от того, насколько повреждена окажется эта копия. Кстати, если вы снимите копию и со второго дохлого диска и обе копии zfs увидит - вероятность полного восстановления сильно возрастет.

Re: восстановление битого диска в пуле

[prepres90]

Спасибо Михаил!
То-есть пулу все-равно на каких дисках с каким серийником лежит информация?
И, в теории, можно склонировать все диски на совершенно другие диски (ну или кассеты стримера :) ) и пул стартанет?

Re: восстановление битого диска в пуле

[2gusia]

Я не дам руку на отсечение, тк не изучал код, но насколько понимаю, пул опирается не на имена устройств и не на серийники - а на запись метаданных -уберблоки и пр.

Если восстановление будет дорогим - не вредно проверить это экспериментально, проведя операции с тестовым пулом.

рухнул пул

[ext_3278427]

моя вера в zfs сильно пошатнулась... или я сделал что-то невообразимо глупое

Re: рухнул пул

[2gusia]

>zfs-пул был страйп на одном vdev, который лежал на отказоусточивом массиве на аппаратном raid-контроллере.

Вы выбрали крайне НЕ рекомендованный вариант, отказавшись от большей части возможности zfs по устранению ошибок. Теперь вам придется полагаться на то, что оставили. Если ваш аппаратный контроллер сможет исправить повреждения, возникшие в результате отключений на горячую - у вас есть шансы.

Во-первых, забудьте про все что написано в вебгуе - в вашем положении все ТОЛЬКО через командную строку

первым делом чините средствами своего конртоллера что можно ими починить. там должны быть избыточность и исправление по клонтрольным суммам.

Далее, раз пулов нет - (zpool status вы уже смотрели)
нужна попытка сделать zpool import. Посмотрите синтаксис команды в мане, судя по тексту вам понимания хватит.Если пул увидится - его стоит попытаться восстановить. И отписаться о результатах.

Re: рухнул пул

[ext_3278427]

>Вы выбрали крайне НЕ рекомендованный вариант

Re: рухнул пул

[ext_3278427]

xigmanas: ~# zpool import -F -f zakroma
xigmanas: ~# zpool status
pool: zakroma
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
zakroma ONLINE 0 0 0
da1p1 ONLINE 0 0 0

errors: No known data errors
xigmanas: ~# zpool list
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
zakroma 1.94T 1.29T 659G - - 0% 66% 1.00x ONLINE -

хех... не знал, что так можно... сейчас скраб сделаю...

а вот бесконечный ресильвер...

[inomaratadeath]

RAID-Z на 4 дисках, 1 диск умер. Заменил диск, запустил ресильвер.
pool: storage
state: DEGRADED
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Wed Nov 9 12:09:32 2022
174G scanned out of 2.25T at 200M/s, 3h2m to go
41.6G resilvered, 7.57% done
config:

NAME STATE READ WRITE CKSUM
storage DEGRADED 0 0 1.01K
raidz1-0 DEGRADED 0 0 2.02K
ada0 ONLINE 0 0 0
replacing-1 DEGRADED 0 0 0
3001576134175200482 UNAVAIL 0 0 0 was /dev/ada2/old
ada2 ONLINE 0 0 0 (resilvering)
ada3 ONLINE 0 0 0
ada1 ONLINE 0 0 0

errors: Permanent errors have been detected in the following files:

<0x7d>:<

Re: а вот бесконечный ресильвер...

[2gusia]

errors: Permanent errors have been detected in the following files:

<0x7d>:<0x17f9>
Это проблема в служебной инфе. У меня она оставалась, когда я удалял файлы Вреда не обнаружил - но не уверен. Хорошего способа исправить я не знаю. Можно перекопировать куда-то как файлы - тогда исчезнет. Или удалить те файлы, для которых используются эти метаданные (но как их определить - неизвестно)

Re: а вот бесконечный ресильвер...

[2gusia]

>не могу понять - когда надо вылетевший диск переводить в оффлайн, а когда это необязательно.

сли диск читается хоть частично - то нет - с него система тоже может использовать инфу. Если дисв встает колом и тормозит процесс - то перевод в офлайн оказывается решением (или физическое отключение)

Замена дисков в пуле.

[vebster]

Добрый день.
Подскажите, есть желание увеличить пул в размере. Возможно ли увеличение пула поочередной заменой дисков в пуле на больший размер?
Что делать если пищит упс и говорит что пора рубить комп а копирование еще идет после замены диска? Как остановить процесс?

И чутка на другую тему.
Хочу собрать пул на 4-х nwme SSD для сайта. Терзаюсь сомнением, стоит ли объединять их в Radz-1? С одной стороны много записи на этот пул не планируется. Больше чтения. Но и терять данные не хочу. А держать копию на втором массиве 6ТБ как-то жирно. Что скажете?

Re: Замена дисков в пуле.

[2gusia]

Возможно ли увеличение пула поочередной заменой дисков в пуле на больший размер?
- да, я так делал. Возможно в конце придется дать пару команд, возможно расширение и самое произойдет в при следующем рестарте - зависит от деталей

Что делать если пищит упс и говорит что пора рубить комп а копирование еще идет после замены диска?

Дайте штатную команду на выключение NAS. Он разберется с ресилвером и продолжеит после рестатра. Если руками копируете - остановите сначала копирование. А по уму UPS должен сам команду давать в NAS что отключаемся

стоит ли объединять их в Radz-1
RAID - не замена бекапа. RAID - обеспечение высокой готовности (низкого или нулевого времени неработоспособности при аппартаном сбое)

Так что сделайте бекап невосстановимых данных где-то еще. А делть ли зеркало - зависит от того, стоит ли пере6рыв в работе на восстановление уполовинивания объема.

Re: Замена дисков в пуле.

[vebster]

Я не про зеркало - я про Raidz-1 он вроде аналог Raid-5. С четырех дисков четверть заберет. Вопрос как себя Raid-5 поведет на SSD?
Спасибо за ответы.

Re: Замена дисков в пуле.

[2gusia]

Буковки просто у вас не в привычном регистре - я и решил что про зеркало. А raidz поведет себя на SSD нормально. Скорость у него будет грубо как у одного SSD.