9 months since GPT-3 revolution

[anhinga_anhinga]

On May 28, 2020 OpenAI published the GPT-3 paper, "Language Models are Few-Shot Learners", https://arxiv.org/abs/2005.14165Read more... )

Comments

[anhinga_anhinga]

Ну, то, как я это пытаюсь объяснить, надо смотреть здесь

https://github.com/anhinga/2020-notes/blob/master/attention-based-models/simple-minded-attention.md

и здесь

https://github.com/anhinga/2020-notes/blob/master/attention-based-models/transformer-attention.md

Вот, я с середины лета веду эти заметки

https://github.com/anhinga/2020-notes/tree/master/attention-based-models

соответственно, это те две подсекции, которые были написаны в начале..

Но ты прав, надо смотреть в оригинал, но оказывается, что оригинал не так-то просто понять и осмыслить, поэтому полезно записывать своё осмысление этого дела...

А бытовой наивный Байес - вещь прекрасная, особенно, если почти нет данных; я помню, как буквально на двух десятках примеров уже вполне была кое-какая "предсказательная сила" в задачке, в которой я его "на ощупь" использовал лет 11-12 назад. Я помню, я его тогда приспособил к ranking prediction (предсказанию "степени удовольствия" - скажем, от одного до десяти), он, вообще-то, для этого не предназначен, но, оказывается, его можно приспособить для этой задачи ("по крестьянски", могу рассказать как).

При этом, я не думаю, что мои объяснения и понимание обладают такой уж глубиной - просто объяснения, это упражнение, которое необходимо для себя делать (и возращаться к этому занятию время от времени). Необходимая часть творческого процесса...