SATA/SAS порты для ZFS массива
Один из основных параметров при выборе железа под nas4free - число SATA портов. И их редко бывает слишком много :) Ведь со временем дисков может понадобиться больше.
NB Профильная тема на хоботе SATA/SAS/RAID-контроллеры для дома и офиса.
Так как подключаем жёсткие диски, практической разницы между SATA 3Gb/s (в девичестве SATA II) и SATA 6Gb/s (SATA III) нет. Древние SATA 1.5 Gb/s (SATA I) также могут быть использованы, тк замедление если и будет, то незначительное. Но обязательно следует убедиться, поддерживает ли такая древняя реализация диски более 2 терабайт.
ZFS построена так, что нормально работает на произвольной смеси работоспособных SATA портов. Массив запросто может использовать одновременно и чипсетные порты и SATA контроллеры. Никакого значения заявленная производителем поддержа-не поддержка RAID матплатой для ZFS значения не имеет.
А если вы дадите себе труд создать ZFS массив на GPT метках, как рекомендуется в этом блоге, массив будет нечувствителен к любой перетасовке портов и контроллеров.
Всё же в первую очередь в большинстве случаев разумно использовать чипсетные SATA порты, включив их в режим AHCI*
*Прим. будет быстрее и лучше. Если для уже работающего NAS переключить режим SATA из IDE в ACHI, то имена дисков изменятся (что-то вроде ad0 -> ada0). Но работоспособность zfs массивов, имена и точки монтирования сохранятся. Полезно, однако, пере-импортировать диски в вебгуе и сохранить конфиг.
Если чипсетных портов не хватает, следом идут SATA порты распаянных на матплте контроллеров. Если чипсетные порты практически всегда поддерживаются из коробки, то с дополнительными контроллерами есть мизерный, но шанс несовместимости. Полезно при покупке уточнить на каком чипе дополнительные SATA порты и погуглить. Лучший (англоязычной) стартовой точкой будет пост From 32 to 2 ports: Ideal SATA/SAS Controllers for ZFS & Linux MD RAID, впервые написанный в далеком 2010, но с тех пор регулярно обновляемый. Но в настоящее вермя шанс нарваться на не поддерживаемый по FreeBSD 11.0 (а, значит, и в nas4free) SATA чип очень невелик. Я даже не припомню примеров, а ведь раньше - были.
Если портов на матплате не хватает, возможно подключение контроллеров. Хочется сразу предупредить о нежелательности использования SATA контроллеров на древней PCI шине. Особенно если портов на ней будет больше одного. Будет притормаживать при одновременном доступе к портам. А доступ в массиве - он одновременный.
Хотя технически SATA контроллеры бывают и на 4 порта, если нужно больше 2 дополнительных SATA, стоит смотреть на SAS контроллеры, которые можно перешить в режим HBA. Перепрошивать IMHO разумно без BIOS. Всё равно там в HBA полезного немного, а загружаться с этого контроллера не планируется. Зато без BIOS ускоряется перезагрузка и уменьшается вероятность конфликта.
Кстати, если установлеен HBA SAS, то диски имеет смысл переключить на него, а не на чипсетные порты. Как видно ниже - проводов чуть меньше. Да и про производительности серверный SAS точно не уступит чипсетному SATA. Смотреть, начиная с того же поста From 32 to 2 ports, консультироваться в ветке SATA/SAS/RAID-контроллеры для дома и офиса.
Но всё же чуть-чуть базовых сведениях о SAS для домашнего применения.
1. На SAS контроллерах нет привычных SATA портов - как же подключать к ним SATA диски?
На большинстве SAS контроллеров используются как внутренние порты SFF-8087, известные также как miniSAS. (Есть, впрочем, и множество других вариантов). К одному SFF-8087 порту можно подключить 4 SATA диска специальным кабелем. Гуглится как "SFF-8087 4SATA". Пример
У такого кабеля с одной стороны SFF-8087 разъём, а с другой стороны - 4 SATA разъёма и пятый для подключения к серверным SATA корзинкам. По нему передаются сигналы, чтоб корзинка лампочками мигала, но и без этой иллюминации диски работают. Кабель тупой, без активных элементов. Кабели с маркировкой Supermicro, LSI и пр. перекрёстно совместимы. На авито и пр. множество хороших предложений. Мне как-то попался в московской рознице китайский ноу-нейм кабель, который тупо не лез в разъём. Так что бу брендовый выйдет и дешевле и надёжнее.
ВАЖНО. Существует, хотя очень редко попадается, реверсивный 4SATA- SFF-8087 кабель. У такого обязательно будет указано, что он реверсивный. Вам такой не подойдёт.
2. Мне нужен RAID контроллер? Нет, не нужен. ZFS лучше будет работать на простых SATA портах. FakeRAID на материнской плате не используем, тк от него вреда больше, чем пользы. ZFS поверх аппаратного RAID возможен, но будет несколько хуже, чем на простых SATA портах.
Такой контроллер, отдающий простые SATA порты, называется HBA (Host Bus Adapter) Это самая дешёвая конфигурация и многие карты доступны c HBA прошивкой из коробки. Но основным источником недорогих адаптеров является вторичный рынок, а там они зачастую в более дорогой, но нам не нужной конфигурации. Но многие можно перешить. А многие - нельзя, особенно более дорогие. Вариантов железок тысячи, лучшие IMHO места где смотреть From 32 to 2 ports, а где проконсультироваться - SATA/SAS/RAID-контроллеры для дома и офиса. Для истории мой старый пост про поныне наиболее популярную железку. С бородой комментов.
3. С SAS проблемы совместимости ждать?
Чипов не так много, всё гуглится. Совсем старые контроллеры (важный пример - LSI SAS1068E и клоны) не поддерживают SATA диски больше 2 терабайт. Есть три поколения SAS - на 3, 6 и 12 Gb/s, но вряд ли вы упрётесь дома в скорость.
В сети приходилось сталкиваться с рекомендациями не смешивать SAS и SATA диски на одном контроллере. Но SAS диски заметно дороже, чем SATA и вряд ли дома проблема возникнет.
Ну и, на всякий случай, SATA контроллер не сможет работать с SAS дисками.
4. А совсем много дисков как подключают?
Один SAS порт, например SFF-8087, может тянуть 4 диска, если напрямую. Но существуют железки, называемые SAS экспандеры. Они позволяют к одному порту подключить до 256 устройств (возможно каскадное подключение экспандеров). Пример
Видно, что карта просто ощетинилась SFF-8087 портами - аж 7 штук. Плюс к тому есть два внешних порта SFF-8088, итого 9. Из них у экспандера 1-2 порта входные, а остальные - выходные. Если присмотреться, можно видеть, что хотя перед нами и PCI(E) карта, но меди на контактах нет, используется только механическое удержание в слоте. Карта питается от отдельного Molex порта.
Надо сказать, что ценник на экспандеры несколько кусается. Второй SAS контроллер при нужде будет и дешевле и доступнее и проще в замене, поэтому дома SAS экспандеры как отдельные карты используются редко. (Хотя по случаю бу изредка попадаются). Но те же самые микросхемы используются в серверных дисковых корзинах. Кроме возможности подключить хоть 4, хоть 5, хоть 25 дисков использование экспандера в корзине позволяет очень сильно выиграть на кабель менеджменте. Использовав для множества дисков 1-2 SAS-8087 - SAS-8087 кабеля.
Или внешний вариант SAS-8088
_lit.JPG)
Что особенно симпатично выглядит в случае внешней корзины (DAS). Это тебе не USB порт на кучу дисков. Тут на каждый - канал, обеспечивающий полную производительность хоть диска, хоть SSD.
NB Профильная тема на хоботе SATA/SAS/RAID-контроллеры для дома и офиса.
Так как подключаем жёсткие диски, практической разницы между SATA 3Gb/s (в девичестве SATA II) и SATA 6Gb/s (SATA III) нет. Древние SATA 1.5 Gb/s (SATA I) также могут быть использованы, тк замедление если и будет, то незначительное. Но обязательно следует убедиться, поддерживает ли такая древняя реализация диски более 2 терабайт.
ZFS построена так, что нормально работает на произвольной смеси работоспособных SATA портов. Массив запросто может использовать одновременно и чипсетные порты и SATA контроллеры. Никакого значения заявленная производителем поддержа-не поддержка RAID матплатой для ZFS значения не имеет.
А если вы дадите себе труд создать ZFS массив на GPT метках, как рекомендуется в этом блоге, массив будет нечувствителен к любой перетасовке портов и контроллеров.
Всё же в первую очередь в большинстве случаев разумно использовать чипсетные SATA порты, включив их в режим AHCI*
*Прим. будет быстрее и лучше. Если для уже работающего NAS переключить режим SATA из IDE в ACHI, то имена дисков изменятся (что-то вроде ad0 -> ada0). Но работоспособность zfs массивов, имена и точки монтирования сохранятся. Полезно, однако, пере-импортировать диски в вебгуе и сохранить конфиг.
Если чипсетных портов не хватает, следом идут SATA порты распаянных на матплте контроллеров. Если чипсетные порты практически всегда поддерживаются из коробки, то с дополнительными контроллерами есть мизерный, но шанс несовместимости. Полезно при покупке уточнить на каком чипе дополнительные SATA порты и погуглить. Лучший (англоязычной) стартовой точкой будет пост From 32 to 2 ports: Ideal SATA/SAS Controllers for ZFS & Linux MD RAID, впервые написанный в далеком 2010, но с тех пор регулярно обновляемый. Но в настоящее вермя шанс нарваться на не поддерживаемый по FreeBSD 11.0 (а, значит, и в nas4free) SATA чип очень невелик. Я даже не припомню примеров, а ведь раньше - были.
Если портов на матплате не хватает, возможно подключение контроллеров. Хочется сразу предупредить о нежелательности использования SATA контроллеров на древней PCI шине. Особенно если портов на ней будет больше одного. Будет притормаживать при одновременном доступе к портам. А доступ в массиве - он одновременный.
Хотя технически SATA контроллеры бывают и на 4 порта, если нужно больше 2 дополнительных SATA, стоит смотреть на SAS контроллеры, которые можно перешить в режим HBA. Перепрошивать IMHO разумно без BIOS. Всё равно там в HBA полезного немного, а загружаться с этого контроллера не планируется. Зато без BIOS ускоряется перезагрузка и уменьшается вероятность конфликта.
Кстати, если установлеен HBA SAS, то диски имеет смысл переключить на него, а не на чипсетные порты. Как видно ниже - проводов чуть меньше. Да и про производительности серверный SAS точно не уступит чипсетному SATA. Смотреть, начиная с того же поста From 32 to 2 ports, консультироваться в ветке SATA/SAS/RAID-контроллеры для дома и офиса.
Но всё же чуть-чуть базовых сведениях о SAS для домашнего применения.
1. На SAS контроллерах нет привычных SATA портов - как же подключать к ним SATA диски?
На большинстве SAS контроллеров используются как внутренние порты SFF-8087, известные также как miniSAS. (Есть, впрочем, и множество других вариантов). К одному SFF-8087 порту можно подключить 4 SATA диска специальным кабелем. Гуглится как "SFF-8087 4SATA". Пример
У такого кабеля с одной стороны SFF-8087 разъём, а с другой стороны - 4 SATA разъёма и пятый для подключения к серверным SATA корзинкам. По нему передаются сигналы, чтоб корзинка лампочками мигала, но и без этой иллюминации диски работают. Кабель тупой, без активных элементов. Кабели с маркировкой Supermicro, LSI и пр. перекрёстно совместимы. На авито и пр. множество хороших предложений. Мне как-то попался в московской рознице китайский ноу-нейм кабель, который тупо не лез в разъём. Так что бу брендовый выйдет и дешевле и надёжнее.
ВАЖНО. Существует, хотя очень редко попадается, реверсивный 4SATA- SFF-8087 кабель. У такого обязательно будет указано, что он реверсивный. Вам такой не подойдёт.
2. Мне нужен RAID контроллер? Нет, не нужен. ZFS лучше будет работать на простых SATA портах. FakeRAID на материнской плате не используем, тк от него вреда больше, чем пользы. ZFS поверх аппаратного RAID возможен, но будет несколько хуже, чем на простых SATA портах.
Такой контроллер, отдающий простые SATA порты, называется HBA (Host Bus Adapter) Это самая дешёвая конфигурация и многие карты доступны c HBA прошивкой из коробки. Но основным источником недорогих адаптеров является вторичный рынок, а там они зачастую в более дорогой, но нам не нужной конфигурации. Но многие можно перешить. А многие - нельзя, особенно более дорогие. Вариантов железок тысячи, лучшие IMHO места где смотреть From 32 to 2 ports, а где проконсультироваться - SATA/SAS/RAID-контроллеры для дома и офиса. Для истории мой старый пост про поныне наиболее популярную железку. С бородой комментов.
3. С SAS проблемы совместимости ждать?
Чипов не так много, всё гуглится. Совсем старые контроллеры (важный пример - LSI SAS1068E и клоны) не поддерживают SATA диски больше 2 терабайт. Есть три поколения SAS - на 3, 6 и 12 Gb/s, но вряд ли вы упрётесь дома в скорость.
В сети приходилось сталкиваться с рекомендациями не смешивать SAS и SATA диски на одном контроллере. Но SAS диски заметно дороже, чем SATA и вряд ли дома проблема возникнет.
Ну и, на всякий случай, SATA контроллер не сможет работать с SAS дисками.
4. А совсем много дисков как подключают?
Один SAS порт, например SFF-8087, может тянуть 4 диска, если напрямую. Но существуют железки, называемые SAS экспандеры. Они позволяют к одному порту подключить до 256 устройств (возможно каскадное подключение экспандеров). Пример
Видно, что карта просто ощетинилась SFF-8087 портами - аж 7 штук. Плюс к тому есть два внешних порта SFF-8088, итого 9. Из них у экспандера 1-2 порта входные, а остальные - выходные. Если присмотреться, можно видеть, что хотя перед нами и PCI(E) карта, но меди на контактах нет, используется только механическое удержание в слоте. Карта питается от отдельного Molex порта.
Надо сказать, что ценник на экспандеры несколько кусается. Второй SAS контроллер при нужде будет и дешевле и доступнее и проще в замене, поэтому дома SAS экспандеры как отдельные карты используются редко. (Хотя по случаю бу изредка попадаются). Но те же самые микросхемы используются в серверных дисковых корзинах. Кроме возможности подключить хоть 4, хоть 5, хоть 25 дисков использование экспандера в корзине позволяет очень сильно выиграть на кабель менеджменте. Использовав для множества дисков 1-2 SAS-8087 - SAS-8087 кабеля.
Или внешний вариант SAS-8088
Что особенно симпатично выглядит в случае внешней корзины (DAS). Это тебе не USB порт на кучу дисков. Тут на каждый - канал, обеспечивающий полную производительность хоть диска, хоть SSD.