LORA

[snormer]

Для большой и «делающей всё одинаково плохо» базовой модели, требования и к железу, и к качеству обучающего датасета при fine tuning дообучении заметно ниже, чем при полноценной тренировке. Настолько, что это уже вполне осуществимо на очень продвинутом пользовательском компьютере. Но всё равно ресурсов нужно много, даже для обучения только одного

Comments

[109]

Я бы не отказался от персонального помощника на основе GPT, которого можно дообучать. А то ни от гугл ассистента, ни от алексы большого толка нет. Кортану я даже и пробовать не стал.

[snormer]

Я бы сказал, год до возможности запустить ChatGPT на ноутбуке. У него размер где-то порядка 600-700GB с обвязкой, оптимизированый утрамбуют в половину этого.

[109]

А зачем локально-то? Пусть себе в облаке крутится. Я не настолько тороплюсь, чтобы лишние 100 миллисекунд меня напрягли. Я скорее про функциональность и персональную настройку.

[twincat]

Хорошая шутка про "нет лишних пальцев". На втором рисунке их как раз четыре.

[snormer]

Я специально оставил, знаю. Это исправляется в течение 5 минут, просто показываешь сети на эту руку и говоришь исправить.

Тем не менее, на "зажатых" моделях, которые обучены генерировать только в определённом стиле и/или только одного человека, уже сейчас плохие пальцы будут на 1 картинке из 10 случайно сгенерированных. А не на 99 из 100, как вначале.