Большой обзор LLM for Code Generation
https://arxiv.org/abs/2406.00515
Там 285 референсов. Всё, что вы хотели знать про state of the art in LLM Code Generation, но боялись спросить.
Я тут смотрю поток видео на етубе в связи со всеобщим надрачиванием на Claude Sonnet 3.5. Не покидает ощущение какого-то наивняка и некомпетентности. Обзирающие все поголовно ведут себя как джуны, самостоятельно ничего сложнее пузырька не делавшие, и даже не смотревшие мультик про "мальчик квадратный ковер выбивает".
Ну то есть должно же быть очевидно, что все эти тесты "напиши мне тетрис за 1-шот" это полный бред, ни один человек с таким не справится, ну чтобы вот взять сесть писать текст и просто вот сверху вниз наебошить в редакторе на одном дыхании что-то размером с тетрис. Зачем вообще это тестировать? Ну то есть да, это такое представление о разработке софта после просмотра фильма Хакеры (я не смотрел). Бред в-общем. Классическое "все пидарасы, а я".
Причем что интересно, товарищи из AutoGPT и MetaGPT пытаются играть в ту же самую игру. А именно, исключить man-in-the-loop и сделать процесс разработки максимально непрозрачным и неконтролируемым, зато сделав ставку на полную автоматизацию процесса. Но потом получают по голове ровно тем же, что бы они получили, просто наняв команду мясных джунов и проверив их результаты через месяц -- что разработка зашла не в ту степь, причем с самого начала и совершенно на пустом месте.
Что нужно на мой взгляд -- так это история разработки проекта в гите, то есть с возможностью отката до любой точки и продолжения с этого места, а также процесс ручного утверждения и обратной связи на всех этапах. То есть никаких "циклов" из промптов быть не может. Должен быть инструмент типа коммандлайновой тулзы "develop step". Который дописывает в репу следующий шаг разработки с аудит-трейлом. (И это заодно избавляет нас от расходов на 100500 вызовов LLM API и от необходимости их кешировать).
Тут конечно нужен какой-то баланс между автоматизацией и контролем, но по факту автоматизация сейчас крайне хуевая (а ля автопилот в Тесле) и любителей автоматизировать овердохуя (см выше), так что нужна тулза для любителей контролировать.
Там 285 референсов. Всё, что вы хотели знать про state of the art in LLM Code Generation, но боялись спросить.
Я тут смотрю поток видео на етубе в связи со всеобщим надрачиванием на Claude Sonnet 3.5. Не покидает ощущение какого-то наивняка и некомпетентности. Обзирающие все поголовно ведут себя как джуны, самостоятельно ничего сложнее пузырька не делавшие, и даже не смотревшие мультик про "мальчик квадратный ковер выбивает".
Ну то есть должно же быть очевидно, что все эти тесты "напиши мне тетрис за 1-шот" это полный бред, ни один человек с таким не справится, ну чтобы вот взять сесть писать текст и просто вот сверху вниз наебошить в редакторе на одном дыхании что-то размером с тетрис. Зачем вообще это тестировать? Ну то есть да, это такое представление о разработке софта после просмотра фильма Хакеры (я не смотрел). Бред в-общем. Классическое "все пидарасы, а я".
Причем что интересно, товарищи из AutoGPT и MetaGPT пытаются играть в ту же самую игру. А именно, исключить man-in-the-loop и сделать процесс разработки максимально непрозрачным и неконтролируемым, зато сделав ставку на полную автоматизацию процесса. Но потом получают по голове ровно тем же, что бы они получили, просто наняв команду мясных джунов и проверив их результаты через месяц -- что разработка зашла не в ту степь, причем с самого начала и совершенно на пустом месте.
Что нужно на мой взгляд -- так это история разработки проекта в гите, то есть с возможностью отката до любой точки и продолжения с этого места, а также процесс ручного утверждения и обратной связи на всех этапах. То есть никаких "циклов" из промптов быть не может. Должен быть инструмент типа коммандлайновой тулзы "develop step". Который дописывает в репу следующий шаг разработки с аудит-трейлом. (И это заодно избавляет нас от расходов на 100500 вызовов LLM API и от необходимости их кешировать).
Тут конечно нужен какой-то баланс между автоматизацией и контролем, но по факту автоматизация сейчас крайне хуевая (а ля автопилот в Тесле) и любителей автоматизировать овердохуя (см выше), так что нужна тулза для любителей контролировать.