Объяснение от автора Гравицапы
Очередное объяснение про нашумевшую в рунете гравицапу 90 терабайтную http://basanovich.livejournal.com/163813.html!
Вопросы «зачем» и «для чего» оставляю за скобками.
А вот почему такая конструкция попытаюсь донести.
Много много буквочек.
И так. Была задача воткнуть в один корпус 64 диска, после нескольких экспериментов был выбран вариант 4 полосы по 16 дисков. 64 цифра взята не от балды, 56 дисков у меня вмещают контроллеры + 6 дисков на маму супермикро + 1 сист. диск для роутера + 1 сист. диск для третьей машины (что на ней пусть останется тайной). После думок про размещение и продувку 64 дисков у меня получилось, что нужен ящик размером 48х60 сантиметров (про высоту позже). Качественно, равномерно и малошумно продуть такой ящик не сможет одиночный вентилятор любого размера. Просто потому, что он будет круглый или квадратный, а у меня размер 48х64 - значит останутся места и диски, которые будут продуваться хуже. Опять же у одного, но большого вентиля будет довольно крупный центр (место, где находится мотор), а значит и в этом месте будет некачественная продувка. Так же один большой вентиль будет иметь немаленький мотор, подумал я, глядя на домашний напольный вентилятор, а это означает, что придётся всю конструкцию делать больше по высоте. Вот так у меня и получилось, что пришлось ставить «толпу» мелких вентилей. Но всё же я промахнулся, взяв разные вентиляторы вниз и наверх … верхние оказались более производительными от 9 вольт и присасывают переднюю дверь. Про высоту. Тут всё просто, надо было оставить место для притока воздуха снизу + высота хардов умноженная на 2, чтобы их можно было вытаскивать, не откручивая маму или БП + высота самой большой мамы + возможность сверху в маму внедрить провода, типа видеокарты или USB + немного на зазор для вытяжки верхними вентиляторами. Получился почти метр высоты конструкции. Да, нижние карлсоны дуют вверх, продувая харды, верхние дуют тоже вверх, вытягивая воздух и тепло наружу, этакая аэродинамическая труба получилась. Шума от всей этой массы «мелких» получилось совсем немного, сидя и покуривая возле сервера можно общаться практически шепотом, люди, звонящие по телефону в этот момент, тоже не слышат его шума, но это просто как показатель уровня шума. Диски стоят вертикально, за это тоже народ критикует, типа горизонтальное расположение более правильное. Но я встречал (на сайтах) проф.решения серверных корпусов от той же супермикро, где харды стояли на боку, в таком корпусе их было 8 штук. Потому вопрос надёжности дисков из их такого расположения оставлю за скобками.
Теперь о самой системе. В ней основная роль у мамы серверной супермикро и 5 рейдконтроллеров от хайпонт ( http://www.highpoint-tech.com/ ), воткнутых в эту маму. Всё это железо покупалось «по мере появления» денег на это. Потому такие разношёрстные контроллеры и стоят. 2240 это PCI-X на 16 САТА дисков, 2320 PCI-Ex - на 8 дисков, два 3520 PCI-Ex - по 8 дисков и 3540 PCI-Ex на 16 дисков. Пробы поставить 1 контроллер и дальше диски разводить мультипликаторами типа ( http://www.shop.servertorg.ru/product_info.php?products_id=10526 ) мне не понравились, сильно падала производительность. Да и геморрой с созданием ёмких рейдов мне совсем не понравился. Дальше, все харды на контроллерах объединены в рейды, один контроллер = один рейд5. На некоторых контроллерах есть возможность создать рейд6, но кроме лучшей надёжности у них есть проблемы со скоростью записи. Потому выбор и остановился на пятом рейде. Сейчас пытаюсь пробовать рейд50, избыточность, как у рейд6, надежность несколько хуже рейд6, но выше чем у рейд5, скорость чтения и записи довольно высокая … Пока для себя не решил на чём остановлюсь.
Теперь к вопросу о том, что через несколько лет флешки будут на 90Тб … Так вот я начинал собирать такого плана сервер лет 3-5 назад, тогда харды были по 400-500Гб, из них и собирал, объём сервера, как вы понимаете был много меньше. Потом, по мере выхода более ёмких хардов и перехода коллекции с aviШЕК на двд и блюрей, покупались партии по 8 или 17 штук и менялись, так и дошёл до сегодняшних 48 WD Green в рейдах и остальное по мелочи. Пока нет денег заменить 8 полторашек сигейта на 8 двушек от вестерна. Сейчас анонсировали вестерны по 3Тб, со временем возможно перейду и на них, но только когда они придут к разумной цене и по наличию денег в карманах. Таким образом, возможный объём сервера увеличится может ещё на 40-50%%. Вестерны были выбраны после долгих чтений форумов и договора манибека, если не пойдут в рейд. Первая партия из 17 дисков работает с августа прошлого года. Вылеты дисков бывают, но в сравнении с сигейтами по 1,5Тб AS и ES серий это незаметные мелочи, сигейты покрываются бэдами с моментами первого запуска. Дома обязательно лежат 2-3 запасных диска, то есть при вылете диска в рейде он сразу же заменяется на такой же и запускается ребилд, отключая диск из винды, тем самым исключая лишние запросы к нему. Найти умерший диск несложно, в GUI контроллера вы видите № умершего, а в сервере они все подписаны, так что ничего не разбирая его легко найти и заменить. Такая конструкция не позволяет заменить любой диск без остановки полностью сервера, из-за скопления шлейфов в дальнем правом углу, но экономия денег требует чем-то жертвовать.
Почему не было взято промышленное решение такой задачи! Первое это цена вопроса, ну сами посудите кроме всех этих, необходимых железок надо было взять ещё и стоечный шкаф, корзину под 50 хардов (видел на каком-то сайте в продаже такую под заказ) стоит совсем немало, размещение мамок в таком шкафу тоже диктует использование корпусов типа 3U и подобных. А главное шум … Вся эта конструкция рассчитана на работу в «серверной комнате», где никто не сидит, заходит редко и шум такой конструкции совсем не важен. У меня же этот агрегат стоит на балконе и при моей конструкции шум не выделяется на фоне шума из приоткрытого окна на балконе. Ну нет у меня возможности выделить для своего хобби отдельную комнату или кладовку.
Дошла очередь до ФАНЕРЫ! )) Ну тут всё просто. Я не смог найти в наших краях спеца фрезеровщика, который сам нашёл бы большую болванку алюминия и выточил их неё по моим чертежам корзину под диски. А фанера проста в обработке в домашних условиях, поджечь её хардами практически нереально, вибрацию она гасит лучше любого металла, да и проклеить её виброгасящими резиновыми прокладками совсем просто. Возможно выглядит не слишком презентабельно, но внешним видом буду заниматься, когда полностью доведу конструкцию до ума, поставлю фильтры на входящий воздух (мыслю из жен. чулок-колготок), проложу и закреплю все провода, поселю внутрь третью маму и БП. Может и под хохлому распишу ))) Сам не смогу - детей попрошу! )))
Всё железо покупаю в Москве, через друзей, потом с проводниками поезда это едет ко мне. Манибек это самая заморочная задачка. Сам я в силу образования и професии не имею никакого отношения к компьютерам, программам, а так же к деревообработке. А потому я полный ламер в этих вопросах.
Вопросы «зачем» и «для чего» оставляю за скобками.
А вот почему такая конструкция попытаюсь донести.
Много много буквочек.
И так. Была задача воткнуть в один корпус 64 диска, после нескольких экспериментов был выбран вариант 4 полосы по 16 дисков. 64 цифра взята не от балды, 56 дисков у меня вмещают контроллеры + 6 дисков на маму супермикро + 1 сист. диск для роутера + 1 сист. диск для третьей машины (что на ней пусть останется тайной). После думок про размещение и продувку 64 дисков у меня получилось, что нужен ящик размером 48х60 сантиметров (про высоту позже). Качественно, равномерно и малошумно продуть такой ящик не сможет одиночный вентилятор любого размера. Просто потому, что он будет круглый или квадратный, а у меня размер 48х64 - значит останутся места и диски, которые будут продуваться хуже. Опять же у одного, но большого вентиля будет довольно крупный центр (место, где находится мотор), а значит и в этом месте будет некачественная продувка. Так же один большой вентиль будет иметь немаленький мотор, подумал я, глядя на домашний напольный вентилятор, а это означает, что придётся всю конструкцию делать больше по высоте. Вот так у меня и получилось, что пришлось ставить «толпу» мелких вентилей. Но всё же я промахнулся, взяв разные вентиляторы вниз и наверх … верхние оказались более производительными от 9 вольт и присасывают переднюю дверь. Про высоту. Тут всё просто, надо было оставить место для притока воздуха снизу + высота хардов умноженная на 2, чтобы их можно было вытаскивать, не откручивая маму или БП + высота самой большой мамы + возможность сверху в маму внедрить провода, типа видеокарты или USB + немного на зазор для вытяжки верхними вентиляторами. Получился почти метр высоты конструкции. Да, нижние карлсоны дуют вверх, продувая харды, верхние дуют тоже вверх, вытягивая воздух и тепло наружу, этакая аэродинамическая труба получилась. Шума от всей этой массы «мелких» получилось совсем немного, сидя и покуривая возле сервера можно общаться практически шепотом, люди, звонящие по телефону в этот момент, тоже не слышат его шума, но это просто как показатель уровня шума. Диски стоят вертикально, за это тоже народ критикует, типа горизонтальное расположение более правильное. Но я встречал (на сайтах) проф.решения серверных корпусов от той же супермикро, где харды стояли на боку, в таком корпусе их было 8 штук. Потому вопрос надёжности дисков из их такого расположения оставлю за скобками.
Теперь о самой системе. В ней основная роль у мамы серверной супермикро и 5 рейдконтроллеров от хайпонт ( http://www.highpoint-tech.com/ ), воткнутых в эту маму. Всё это железо покупалось «по мере появления» денег на это. Потому такие разношёрстные контроллеры и стоят. 2240 это PCI-X на 16 САТА дисков, 2320 PCI-Ex - на 8 дисков, два 3520 PCI-Ex - по 8 дисков и 3540 PCI-Ex на 16 дисков. Пробы поставить 1 контроллер и дальше диски разводить мультипликаторами типа ( http://www.shop.servertorg.ru/product_info.php?products_id=10526 ) мне не понравились, сильно падала производительность. Да и геморрой с созданием ёмких рейдов мне совсем не понравился. Дальше, все харды на контроллерах объединены в рейды, один контроллер = один рейд5. На некоторых контроллерах есть возможность создать рейд6, но кроме лучшей надёжности у них есть проблемы со скоростью записи. Потому выбор и остановился на пятом рейде. Сейчас пытаюсь пробовать рейд50, избыточность, как у рейд6, надежность несколько хуже рейд6, но выше чем у рейд5, скорость чтения и записи довольно высокая … Пока для себя не решил на чём остановлюсь.
Теперь к вопросу о том, что через несколько лет флешки будут на 90Тб … Так вот я начинал собирать такого плана сервер лет 3-5 назад, тогда харды были по 400-500Гб, из них и собирал, объём сервера, как вы понимаете был много меньше. Потом, по мере выхода более ёмких хардов и перехода коллекции с aviШЕК на двд и блюрей, покупались партии по 8 или 17 штук и менялись, так и дошёл до сегодняшних 48 WD Green в рейдах и остальное по мелочи. Пока нет денег заменить 8 полторашек сигейта на 8 двушек от вестерна. Сейчас анонсировали вестерны по 3Тб, со временем возможно перейду и на них, но только когда они придут к разумной цене и по наличию денег в карманах. Таким образом, возможный объём сервера увеличится может ещё на 40-50%%. Вестерны были выбраны после долгих чтений форумов и договора манибека, если не пойдут в рейд. Первая партия из 17 дисков работает с августа прошлого года. Вылеты дисков бывают, но в сравнении с сигейтами по 1,5Тб AS и ES серий это незаметные мелочи, сигейты покрываются бэдами с моментами первого запуска. Дома обязательно лежат 2-3 запасных диска, то есть при вылете диска в рейде он сразу же заменяется на такой же и запускается ребилд, отключая диск из винды, тем самым исключая лишние запросы к нему. Найти умерший диск несложно, в GUI контроллера вы видите № умершего, а в сервере они все подписаны, так что ничего не разбирая его легко найти и заменить. Такая конструкция не позволяет заменить любой диск без остановки полностью сервера, из-за скопления шлейфов в дальнем правом углу, но экономия денег требует чем-то жертвовать.
Почему не было взято промышленное решение такой задачи! Первое это цена вопроса, ну сами посудите кроме всех этих, необходимых железок надо было взять ещё и стоечный шкаф, корзину под 50 хардов (видел на каком-то сайте в продаже такую под заказ) стоит совсем немало, размещение мамок в таком шкафу тоже диктует использование корпусов типа 3U и подобных. А главное шум … Вся эта конструкция рассчитана на работу в «серверной комнате», где никто не сидит, заходит редко и шум такой конструкции совсем не важен. У меня же этот агрегат стоит на балконе и при моей конструкции шум не выделяется на фоне шума из приоткрытого окна на балконе. Ну нет у меня возможности выделить для своего хобби отдельную комнату или кладовку.
Дошла очередь до ФАНЕРЫ! )) Ну тут всё просто. Я не смог найти в наших краях спеца фрезеровщика, который сам нашёл бы большую болванку алюминия и выточил их неё по моим чертежам корзину под диски. А фанера проста в обработке в домашних условиях, поджечь её хардами практически нереально, вибрацию она гасит лучше любого металла, да и проклеить её виброгасящими резиновыми прокладками совсем просто. Возможно выглядит не слишком презентабельно, но внешним видом буду заниматься, когда полностью доведу конструкцию до ума, поставлю фильтры на входящий воздух (мыслю из жен. чулок-колготок), проложу и закреплю все провода, поселю внутрь третью маму и БП. Может и под хохлому распишу ))) Сам не смогу - детей попрошу! )))
Всё железо покупаю в Москве, через друзей, потом с проводниками поезда это едет ко мне. Манибек это самая заморочная задачка. Сам я в силу образования и професии не имею никакого отношения к компьютерам, программам, а так же к деревообработке. А потому я полный ламер в этих вопросах.