Дешевое толстое хранилище

[norguhtar]

Одни ребята сделали 67 Террабайтное хранилище размером в 4U всего за 8 тыщ баксов. Они не использовали крутые системы хранения от вендоров, они использовали стандартные комплектующие. Единственная не стандартная комплектующая - это корпуса, их заказывали. На сайте есть кстати есть 3D модель корпуса, можно скачать и вырезать хоть лобзиком.

Comments

[zed_0xff]

я примерно прикинул какой мы последний сторадж собирали - можно вставить 16х2Tb винтов, 8Gb RAM, 2 БП - цена порядка $4900 вместе с винтами.
итого 4900/32*1000 = $153000 за 1 петабайт :)

всего в полтора раза дороже, чем у чувачков.
ну и у них 67тб per server, а у нас только 32 :)

и я не нашел почему они не стали 2тб винты юзать

[norguhtar]

Они сильно свежие еще, у них цена гигабайта не оптимальна.

Вы то чего купили в итоге? :)

[zed_0xff]

пока 8x1Tb WD1000FYPS

[bitoniau]

СильнО! Интересно бы посмотреть, как прогибается корпус при полной загрузке накопителями.

[norguhtar]

Никак. У меня есть тяжелые корпуса, там конструкция расчитывается для обеспечения жесткости.

[bazanovv]

Хм, весьма нехилые у них блоки питания. Пара обычных БП может и загнуться от стартового тока 23 винтов. Что еще несколько напрягает - непонятно, с ECC там память используется, или обычная. Резервирование, насколько понял, делается не только на уровне RAID, но и на верхнем уровне, на уровне объединения множества таких красных коробок - этим защищаемся от даунтайма при отказе одного БП, управления в стойке, необходимости замены винтов и т.д. Что-то подобное первым вроде придумал Гуголь? В целом - пример весьма красивой (и выгодной!) самодельщины :)

[norguhtar]

У них там написано, что все эти винты сильно просаживают 5 вольт и типа по этому два БП, ибо дешевле чем брать серверные БП. ECC там нет, да и не нужно :) А так да они за счет многократного резервирования защищаются от даунтайма системы. У гугла подобна схема и сейчас подобное тому что использует гугл можно купить у SGI (бывший rack space).

[bazanovv]

Чтоб все 45 винтов запустить от одного БП я даже хз, какой вообще БП надо. Это ж ~45*12v*2A = 1080 Вт только по +12 =8-Q

По поводу ECC - принципиально не соогласен, оперативка - единственное место в системе, где данные не защищены контрольной суммой и их повреждение не будет обнаружено. При таких огромных объемах это может рано или поздно вылезти.

[norguhtar]

Там половина от одного блока питания вторая от другого :) И еще написано что сначала включают тот что систему не питает, чтобы половина раскрутилась, а затем включают второй.

По поводу ECC - принципиально не соогласен, оперативка - единственное место в системе, где данные не защищены контрольной суммой и их повреждение не будет обнаружено.

Обычно если ячейка памяти дохнет, дохнет вся ОС целиком. Я практически не наблюдал ситуации чтобы при повреждении части памяти она не умирала. Ну если хочется ECC докидываем 200 долларов и вот вам ECC.

[poige]

Чувачки JFS выбрали. Интересно, из каких соображений.

[norguhtar]

Из этих:

Limits
Max file size 4 PiB
Max number of files No limit defined
Max filename length 255 bytes
Max volume size 32 PiB

У reiserfs ограничение в 16 террабайт. А у них на каждом ящике 3 RAID6 по 19.5 Террабайт.
Кроме jfs аналогичным требованиям удволетоворяет только ext4 и xfs.

> ext4 и xfs.

[poige]

То есть, они решили, что XFS того не стоит? :-)

Re: > ext4 и xfs.

[norguhtar]

Ну видимо им JFS больше понравился, я его пробовал вполне себе нормальная файловая система :)