90 терабайтная гравицапа (90 terrabyte home server) продолжение.
Когда-то мой товарищ ( http://basanovich.livejournal.com/163813.html )за меня публиковал отчёт о создание моего сервера хранения, а после обновления решился сам выслушать все ваши "гадости" в свой адрес и ответить на вопросы. После первого отчёта о "постройке" было много всего понаписано и тут и на других сайтах, но были и толковые, которые натолкнули на мысли об апргейде в нужном направлении. И вот что из этого вышло:
часть отчёта AIDA:
Операционная система Microsoft Windows Server 2008 R2 Enterprise 6.1.7601 (Win2008 R2 RTM)
Дата 2012-01-17
Время 11:23
--------[ Суммарная информация ]----------------------------------------------------------------------------------------
Компьютер:
Тип компьютера ACPI x64-based PC
Операционная система Microsoft Windows Server 2008 R2 Enterprise
Пакет обновления ОС Service Pack 1
Internet Explorer 8.0.7601.17514
DirectX DirectX 11.0
Имя компьютера WIN-ХХХХХХХ
Имя пользователя ХХХХХХХХХХ
Вход в домен WIN-ХХХХХХХХ
Дата / Время 2012-01-17 / 11:23
Системная плата:
Тип ЦП QuadCore Intel Xeon E5530, 2650 MHz (20 x 133)
Системная плата Intel Hanlan Creek S5520HC (1 PCI, 4 PCI-E x8, 1 PCI-E x16, 12 DDR3 DIMM, Video, Dual Gigabit LAN)
Чипсет системной платы Intel Tylersburg 5500, Intel Nehalem
Системная память 24515 Мб (DDR3-1333 DDR3 SDRAM)
DIMM1: Hynix HMT31GR7BFR4C-H9 8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц)
DIMM3: Hynix HMT31GR7BFR4C-H9 8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц)
DIMM5: Hynix HMT31GR7BFR4C-H9 8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц)
DIMM7: Hynix HMT31GR7BFR4C-H9 8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц)
DIMM9: Hynix HMT31GR7BFR4C-H9 8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц)
DIMM11: Hynix HMT31GR7BFR4C-H9 8 Гб DDR3-1333 Reg. ECC DDR3 SDRAM (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц)
Тип BIOS AMI (09/30/09)
Коммуникационный порт Последовательный порт (COM1)
Коммуникационный порт Последовательный порт (COM2)
Отображение:
Видеоадаптер Matrox Graphics G200e (ServerEngines) (32 Мб)
3D-акселератор Matrox G200e ServerEngines
Монитор Samsung SyncMaster 730B (Analog) [17" LCD] (HMDYA00459)
Хранение данных:
Контроллер IDE Intel(R) ICH10 Family 6 Port SATA AHCI Controller - 3A22
Контроллер хранения данных Adaptec RAID 5805
Контроллер хранения данных Adaptec RAID 5805
Контроллер хранения данных AHMWASTZ IDE Controller
Контроллер хранения данных RocketRAID 4320 SAS Controller
Дисковый накопитель Adaptec Array SCSI Disk Device (40919 Гб)
Дисковый накопитель Adaptec Array SCSI Disk Device (40919 Гб)
Дисковый накопитель Adaptec Array SCSI Disk Device (40919 Гб)
Дисковый накопитель HPT VD0-0 SCSI Disk Device (13040 Гб)
Дисковый накопитель INTEL SSDSA2M120G2GC ATA Device (120 Гб, SATA-II)
Оптический накопитель LADMVMN TENKTIB SCSI CdRom Device
Статус SMART жёстких дисков OK
Разделы:
C: (NTFS) 49899 Мб (33319 Мб свободно)
D: (NTFS) 64469 Мб (55924 Мб свободно)
E: (NTFS) 40919.9 Гб (9087.2 Гб свободно)
F: (NTFS) 40919.9 Гб (6613.7 Гб свободно)
G: (NTFS) 13040.4 Гб (1883.1 Гб свободно)
H: (NTFS) 40919.9 Гб (12171.8 Гб свободно)
Общий объём 135911.7 Гб (29842.8 Гб свободно)
Ввод:
Клавиатура Клавиатура HID
Мышь HID-совместимая мышь
В системе 3 рейд-контроллера: два Адаптека 5805 (чуть ниже почему именно два) и один Хайпонт 4320. К адаптеку подцеплены экспандеры Ченбро 13601 по 24 порта, к 4320 8 дисков, без экспандеров. Адаптеков два так, как хотя и можно последовательно вешать экспандеры, но практика показала, что при "верификации" или "ребилде" скорость на остальных рейдах сильно падает, видимо не хватает мощности проца контроллера, потому пришлось покупать второй 5805, попытка использовать 6805 показала его низкую скорость в сравнении с младшим братом (возможно виноваты вестерны грин). То есть сейчас на один SAS разъём контроллера повешен 1 экспандер. На хайпонт 4320 так же можно вешать экспандеры, но в сравнении с адаптеком хайпонт не позволяет создавать рейд из 24 дисков, 16 максимум. Итого всего 80 SATA дисков WD GREEN по 2Тб, собранных в три рейд6 по 24 диска и один рейд5 из 8 дисков(хайпонт). Корпус несколько модернезировал. Но главная модернизация это питание дисков. Предыдущие попытки использования комп. БП показали, что из-за перекосов в нагрузке невозможно использовать те большие и красивые цифры написанные на коробках, пришлось купить спец. БП, отдельно на +5в в 100А и на +12В и 83.3А, были сделаны шины питания из провода сечением 25квадратов из бескислородной меди. Такая схема питания спокойно стартует одновременно 80 дисков и стабильно питает в процессе работы.
На старых фото видно две мат.платы: слева мать работающая в составе роутера на базе вынь2003 и ISA, справа сервер, к которому и подключено такое кол-во жёстких дисков. Почему фанерный корпус "самострой": 1-е и главное это цена вопроса, любое промышленное решение стоит безумных денег, 2-е это шум - пром. решения расчитаны на работу в серверных, где вопрос шума системы никого не волнует, у меня же стоит дома, на балконе ... 40 вентелей вращающихся на скорости 1200об. дают столько же шума, как работающий кондей, так что вполне терпимо. Алюминий на корпус было бы правильней, но в домашних условиях его сложно обрабатывать. Так же пром.корпуса расчитанные на работу с таким кол-вом дисков в наших дебрях не водятся, поставщики выставляют такие условия, что проще последнюю модель Феррари пригнать, чем получить такое ...
По сравнению со старым отчётом на корпус добавлена "мансарда", способная вместить 64 диска и на которой размещёны новые БП, итого суммарный объём может дойти до 128 дисков для хранения собственных фото.
Кому интересно КАК работает - отвечу на вопросы, на вопрос "для чего" ответ уже давно дан. Вопли типа "о сколько порно" оставьте себе ... не стоит их публиковать.
.
