ИИ на домашнем компе

[lex_kravetski]

Кто-то, я уже не помню, спрашивал, быстро ли работает GPT, если его запустить на локальном компьютере. Я всё-таки собрался с силами и установил себе некий KoboldCPP. Благо, для этого не пришлось делать практически ничего вообще - на фоне тех километровых последовательностей действий, которые предлагались год назад

Comments

[biggest_bear]

Да, на Гитхабе написано, что часть моделей умеет разделять нагрузку. А по, так сказать, качеству ответов что скажешь? Не хуже GPT?

[lex_kravetski]

По виду несколько хуже. Но не прям совсем. С GPT-2 и даже 3 не сравнить.

[ext_5312370]

> С GPT-2 и даже 3 не сравнить.

Для ясности: работает лучше, чем GPT-3?

[lex_kravetski]

Лучше. Примерно как 3.5

[sergejzr]

Про Foocus хотелось бы спросить, он может сильно поцарапанные/загрязненные фотографии восстанавливать? Ну или есть какое нибудь другое локальное решение для проблемы? Насколько я вижу, все только увеличивают картинки и максимум разглаживают...

Сорри за оффртоп...

[lex_kravetski]

> Про Foocus хотелось бы спросить, он может сильно поцарапанные/загрязненные фотографии восстанавливать?

Оно всё для генерации изображений всё-таки, а не для правки. Для правки надо брать Topaz Strudio, или Capture One, или Photoshop.

[sergejzr]

Remini справляется лучше всех, но оно не локально. Из списка я пробовал все, но результат не очень (разве что фотошоп, но там руками надо работать).

Пока что получается - в Foocus в impaint'e prosto удалять царапины и регенерировать дырки (как в фотошопе). Все ок, но руками опять же надо работать, а у меня видео (старая 8мм пленка).

Topaz у меня лицензионный и работает отлично, но с царапинами не помогает..

[sasha_severny]

Теоретически может, но он заметно меняет изображение. Автоматик1111 лучше в этом смысле, но хуже в размерах картинки. У меня Автоматик 4К уже не тянет.

[touristcat]

Ну 13B - это 13B. Так-то есть и на 7B модели, которые на почти любом тостере заработают неплохо.
Вопрос качества ответов возникает только.
Вот для 34B или 67B, которые реально могут сравниться с GPT, уже нужен весьма непростой комп. А еще лучше - непростая видеокарта, ценой так с полмиллиона деревянных. Ну или придется ждать ответа минуты или даже десятки минут, да.

[zaiats_2k]

Насколько непростой? i9-12900K, 128 GB RAM, RTX 4090 на что хватит?

[touristcat]

На что-то хватит, правда скорость у больших ботов всё равно будет существенно ниже, чем в облаке - память видеокарты им мала, большая часть на проце будет считаться.
Но хорошо, что у почти у каждого человека есть такой комп!

[archi_of_real]

не на проце там не считается там или cuda или cpu, есть еще варик на маке если модель на pytorch то есть поддерка маковских тезнзорных ядер

[tulenev]

Спасибо, я тоже скачал и попробовал.
Получилось смешно:
[Spoiler (click to open)]You

[endiny123]

Восхитительно и чарующе. Пойду поставлю что-нибудь себе, чтобы поиграться. Надеюсь, мобильная 3060Ti в легионе пятом с 16 ГБ оперативы потянет что-нибудь)