Создаём раздел более 3ТБ под Debian 8.3 (RAID0)
Заимел я тут контроллер LSI SAS 9211-8i, на котором собрался запустить стрипуху из 8 дисков по 2ТБ, т.е. в итоге имеем 14,6ТБ чистого высокоскоростного раздела (без отказоустойчивости, которая мне в данном случае не нужна).
Настройку Avago утилиты, я увы, не отфотографировал (хотя многим начиющим думаю было бы интересно почитать, посмотреть), но ничего особо сложного там нет и для образца можно искать инструкции по MegaRaid Utility от LSI, которых в сети полно, правда только на "вражеском" языке. Единственное, что я сделал, после того как мой стрип развалился, я перепрошил адаптер и пообщался на эту тему с тех.поддержкой avago (они же LSI, они же broadcom).
Обновляем прошивку адаптера (надо бы вынести в отдельную тему).
Прошивки для данного адаптера и ему подобных бывают двух видов:
1. IR - поддерживае RAID
2. IT - упрощённая, без RAID, но в некоторых режимах работает немного быстрее.
Качаем нужную нам на avagotech.com, в нашем случае это инсталлер для линукса Installer_P20_for_Linux и непосредственно сама прошивка и биос 9211-8i_Package_P20_IR_IT_Firmware_BIOS_for_MSDOS_Windows.
Внутри каталогов будут файлы, прошивка например 2118ir.bin (ir - IR версия) и mptsas2.rom - сам биос.
Ещё потребуется утилита sas2flash (лежит внутри Installer_xxxx_for_xxxx)
После извлечения из архива сделайте файл утилиты исполняемым:
#chmod +x ./sas2flash
Проверьте текущие версии прошивок и список доступных адаптеров
#./sas2flash -listall
Вы должны получить вывод команды подобный этому:
# ./sas2flash -listall
LSI Corporation SAS2 Flash Utility
Version 20.00.00.00 (2014.09.18)
Copyright (c) 2008-2014 LSI Corporation. All rights reserved
Adapter Selected is a LSI SAS: SAS2008(B2)
Num Ctlr FW Ver NVDATA x86-BIOS PCI Addr
----------------------------------------------------------------------------
0 SAS2008(B2) 20.00.07.00 14.01.00.09 07.39.02.00 00:03:00:00
Finished Processing Commands Successfully.
Exiting SAS2Flash.
В колонке Num отображается адаптера
Внимание!
При следующих процедурах очень легко можно ошибиться и все поломать если на сервере есть другие LSI адаптеры и вы ошибетесь в указании нужного. Потому, прежде чем делать что-либо еще, я рекомендую вам удалить все прочие адаптеры из системы, особенно LSI HBA-адаптеры. Перед каждой следующей операцией контролируйте параметр выбора адаптера командой (опция выбора адаптера -с , на место подставьте 0, 1 или 1):
./sas2flash -list -c 0
./sas2flash -list -c 1
В выводе команды обратите внимание на Firmware Product ID.
Там будет указан используемый тип прошивки (IT или IR), например:
Firmware Product ID : 0x2214 (IT)
Не пытайтесь прошить интегрированный адаптер, например Supermicro SMC2208. (Этот адаптер не поддерживается утилитой sas2flash, но предупредить стоит)
Прошивка этого адаптера приведет к невозможности загрузки системы. Обновление прошивки этого адаптера происходит с обновлением BIOS материнской платы.
Стирание старой прошивки
Старая прошивка и BIOS удаляется командой
./sas2flash -о -е 6 -с
Эта команда выполняет утилиту sas2flsh в расширенном режиме (-o), и стирает (-e 6) прошивку и BIOS на указанном адаптере (-с ).
Перезагрузка системы в этой точке может привести адаптер HBA в нерабочее состояние.
Другими словами - не перезагружайте систему до завершения загрузки в адаптер новой прошивки и BIOS.
Загрузка новой прошивки и BIOS
В отдельный каталог скопируйте файл утилиты для прошивки sas2flsh, прошивку 2118it.bin и BIOS mptsas2.rom.
Перейдите в этот каталог и загрузите в адаптер новую прошивку и BIOS:
cd <путь к каталогу>
./sas2flsh -o -f 2118it.bin -c
./sas2flsh -o -b mptsas2.rom -c
После обновления прошивки убедитесь, что новые прошивки установлены командой:
./sas2flash -listall
Выключите и включите сервер, убедитесь в работоспособности.
По рекомендациям тех.поддержки адаптер и мамку настроил так...
Настройка контроллера :
Max INT13 - 8
Настройка синхронизации запуска:
Direct Attached Spinup Delay - время между раскруткой дисков;
Direct Attached Max Targets to Spinup - колво раскручивающихся одновременно дисков;
Report Device missing Delay - время, через которое системе будет сообщено, что устр-во отсутствует (если устройство сработает/определиться в течении этого времени, то системе
оно будет указано как присутствующее) на HBA в доках рекомендуют ставить сек10 (для VMware ESX вообще 144);
IO Device Missing Delay - хер пойми, типо как задержка между запросами SCSI-контроллера, когда цель не обноружена/ не доступна (для VMware ESX 8 сек)
(настройку таймингов опишу здесь чуть позже, но это не точно)
Для редактирования диска использовал fdisk.
Снача узнаём, как наш "диск" определился в системе
#fdisk -l
В моём случае это sdf
Примечание out 2019! Как показало время, собственный опыт и опыт коллег, XFS закомендовала себя как крайне не стабильная ФС, поэтому рекомендую использовать как вариант ext4.
#fdisk /dev/sdf
#mkfs.xfs -f /dev/sdf
#xfs_repair -L /dev/sdf1
#mount /dev/sdf1 /mnt/nys1/
Добавляем в fstab и пользуемся!
Настройку Avago утилиты, я увы, не отфотографировал (хотя многим начиющим думаю было бы интересно почитать, посмотреть), но ничего особо сложного там нет и для образца можно искать инструкции по MegaRaid Utility от LSI, которых в сети полно, правда только на "вражеском" языке. Единственное, что я сделал, после того как мой стрип развалился, я перепрошил адаптер и пообщался на эту тему с тех.поддержкой avago (они же LSI, они же broadcom).
Обновляем прошивку адаптера (надо бы вынести в отдельную тему).
Прошивки для данного адаптера и ему подобных бывают двух видов:
1. IR - поддерживае RAID
2. IT - упрощённая, без RAID, но в некоторых режимах работает немного быстрее.
Качаем нужную нам на avagotech.com, в нашем случае это инсталлер для линукса Installer_P20_for_Linux и непосредственно сама прошивка и биос 9211-8i_Package_P20_IR_IT_Firmware_BIOS_for_MSDOS_Windows.
Внутри каталогов будут файлы, прошивка например 2118ir.bin (ir - IR версия) и mptsas2.rom - сам биос.
Ещё потребуется утилита sas2flash (лежит внутри Installer_xxxx_for_xxxx)
После извлечения из архива сделайте файл утилиты исполняемым:
#chmod +x ./sas2flash
Проверьте текущие версии прошивок и список доступных адаптеров
#./sas2flash -listall
Вы должны получить вывод команды подобный этому:
# ./sas2flash -listall
LSI Corporation SAS2 Flash Utility
Version 20.00.00.00 (2014.09.18)
Copyright (c) 2008-2014 LSI Corporation. All rights reserved
Adapter Selected is a LSI SAS: SAS2008(B2)
Num Ctlr FW Ver NVDATA x86-BIOS PCI Addr
----------------------------------------------------------------------------
0 SAS2008(B2) 20.00.07.00 14.01.00.09 07.39.02.00 00:03:00:00
Finished Processing Commands Successfully.
Exiting SAS2Flash.
В колонке Num отображается адаптера
Внимание!
При следующих процедурах очень легко можно ошибиться и все поломать если на сервере есть другие LSI адаптеры и вы ошибетесь в указании нужного. Потому, прежде чем делать что-либо еще, я рекомендую вам удалить все прочие адаптеры из системы, особенно LSI HBA-адаптеры. Перед каждой следующей операцией контролируйте параметр выбора адаптера командой (опция выбора адаптера -с , на место подставьте 0, 1 или 1):
./sas2flash -list -c 0
./sas2flash -list -c 1
В выводе команды обратите внимание на Firmware Product ID.
Там будет указан используемый тип прошивки (IT или IR), например:
Firmware Product ID : 0x2214 (IT)
Не пытайтесь прошить интегрированный адаптер, например Supermicro SMC2208. (Этот адаптер не поддерживается утилитой sas2flash, но предупредить стоит)
Прошивка этого адаптера приведет к невозможности загрузки системы. Обновление прошивки этого адаптера происходит с обновлением BIOS материнской платы.
Стирание старой прошивки
Старая прошивка и BIOS удаляется командой
./sas2flash -о -е 6 -с
Эта команда выполняет утилиту sas2flsh в расширенном режиме (-o), и стирает (-e 6) прошивку и BIOS на указанном адаптере (-с ).
Перезагрузка системы в этой точке может привести адаптер HBA в нерабочее состояние.
Другими словами - не перезагружайте систему до завершения загрузки в адаптер новой прошивки и BIOS.
Загрузка новой прошивки и BIOS
В отдельный каталог скопируйте файл утилиты для прошивки sas2flsh, прошивку 2118it.bin и BIOS mptsas2.rom.
Перейдите в этот каталог и загрузите в адаптер новую прошивку и BIOS:
cd <путь к каталогу>
./sas2flsh -o -f 2118it.bin -c
./sas2flsh -o -b mptsas2.rom -c
После обновления прошивки убедитесь, что новые прошивки установлены командой:
./sas2flash -listall
Выключите и включите сервер, убедитесь в работоспособности.
По рекомендациям тех.поддержки адаптер и мамку настроил так...
Настройка контроллера :
Max INT13 - 8
Настройка синхронизации запуска:
Direct Attached Spinup Delay - время между раскруткой дисков;
Direct Attached Max Targets to Spinup - колво раскручивающихся одновременно дисков;
Report Device missing Delay - время, через которое системе будет сообщено, что устр-во отсутствует (если устройство сработает/определиться в течении этого времени, то системе
оно будет указано как присутствующее) на HBA в доках рекомендуют ставить сек10 (для VMware ESX вообще 144);
IO Device Missing Delay - хер пойми, типо как задержка между запросами SCSI-контроллера, когда цель не обноружена/ не доступна (для VMware ESX 8 сек)
(настройку таймингов опишу здесь чуть позже, но это не точно)
Для редактирования диска использовал fdisk.
Снача узнаём, как наш "диск" определился в системе
#fdisk -l
В моём случае это sdf
Примечание out 2019! Как показало время, собственный опыт и опыт коллег, XFS закомендовала себя как крайне не стабильная ФС, поэтому рекомендую использовать как вариант ext4.
#fdisk /dev/sdf
#mkfs.xfs -f /dev/sdf
#xfs_repair -L /dev/sdf1
#mount /dev/sdf1 /mnt/nys1/
Добавляем в fstab и пользуемся!