9 months since GPT-3 revolution

Feb 28, 2021 03:56

On May 28, 2020 OpenAI published the GPT-3 paper, "Language Models are Few-Shot Learners", https://arxiv.org/abs/2005.14165Read more... )

Leave a comment

anhinga_anhinga February 28 2021, 19:30:47 UTC
Я знаю, что 9 месяцев назад умели делать вот такую штуку, как в этом демо: https://twitter.com/matvelloso/status/1263193089310461952 (это, как раз, прогресс, который стал возможен благодаря GPT-3, с тех пор люди, пользовавшиеся GPT-3, делали много вещей на таком уровне). Вот, система, которая подсказывает инженеру, как, скорее всего, должны выглядеть следующие несколько строк кода, уже вполне реалистична (и, сколько я понимаю, на ходу кое-где).

С другой стороны, примерно тогда же была сделана работа под названием DreamCoder, которая "менее впечатляющая, но более настоящая", в плане того, насколько система действительно понимает суть программистских задач, а не просто полагается на "лингвистическую интуицию": https://arxiv.org/abs/2006.08381

В общем, нужны ещё прорывы, но, я думаю, что они посильны.

(Я думаю, что если пользоваться малоизвестным классом нейронных машин, который я рекламирую, то эту задачу, скорее всего, сделать легче, чем пытаться воспроизвести человеческую логику программирования на Питоне, но, похоже, и в плане воспроизведения человеческой логики программирования на Питоне прогресс уже очень приличный.)

Reply

egovoru February 28 2021, 19:58:02 UTC
Спасибо, очень интересно!

Reply


Leave a comment

Up