Предобучи, потом подстрой/pretrain then finetune

[ailev]

Текущий тренд в работе с естественным языком -- это использование языковых моделей. Берётся огромная пустая нейронная сетка, и ей скармливается огромный (gargantuan) корпус текстов на всех доступных языках. В этих текстах отражены какие-то свойства языков в целом (кормят текстами отнюдь не только одного языка), а также свойства мира (ибо все эти

Comments

[az_from_belarus]

Старая добрая шутка об отличии университета от института: в университете дают образование, а в институте профессию.

[chumakin]

Анатолий Игоревич, Вы уже в полу-шаге от необходимости изобретения классификации ИИ (здесь: инструменты интеллекта), где во главе угла стоят онтологические дела.
Сложность только в том, что вместе с перечнем (пусть даже иерархизированным) самих инструментов, нужны будут средства для синтаксиса, грамматики (связи) между уровнями такой классификации. А такая вспомогательная система обычно нерефлектируется пользователем, и навязывается "строгим преподом" под видом приверженности некоей традиции, устоям. Что дает студентам аргументы считать его выживающим из ума мракобесом. Но его терпят, ибо классификация ИИ все равно нужна будет.

[redmassacre]

Красота Ложбан спасет мир, не?

[cantechnik]

/// Ложбан спасет мир, не? ///

Да - как внутренний язык ИИ и гибридных систем.