Собираем компьютер для запуска самых больших LLM и обучения моделей YOLOv8+

[nikitayev]

ИUНа домашних ПК  с памятью DDR4 собрать подходящий вариант нереально.

Максимум получится установить 128ГБ оперативной памяти, тогда как LLama-3.1-405B требует, соответственно 405+ГБ памяти, а Grok-1 314B, соответственно 304ГБ+ оперативной памяти.

А значит, необходимо иметь 512ГБ памяти на компьютере.

Если установить платы для процессоров,

Comments

[salariman]

👍

[edvb]

Но всё равно ведь не 512. Подкачка? 512 ECC уже под 400k. Допустим, можно найти за 200. На этом фоне сервер за ещё 200 выглядит недорогим. Но чем окупить домашний комп за полляма?

[nikitayev]

Меньше, чем 200к получается. И это намного доступнее брендового варианта. И других вариантов как иметь дома за вменяемые деньги самые мощные llm

[sdtsdt]

Зимой вместо отопления можно использовать

[nikitayev]

Можно, но только если загрузить полностью. Там больше нагрева от видеокарты.

[nikitayev]

В чате телеграм канала дилеров Huananzhi проскочила ссылка на последнюю версию прошивки:
https://t.me/huananzhi_ru/27583
Обещали на своём сайте добавить.

[nikitayev]

Добавили и на сайте:

https://huananzhi.ru/product/materinskaya-plata-x99dual-f8d-plus-huananzhi/

[nikitayev]

Стандартный вариант