Анализ разных нейронок в программировании на разных языках
Такие эксперименты мы любим. Зацените - https://prollm.toqan.ai/leaderboard - интерактивный топ с просмотром результатов тестов разных нейронок по разным языкам программирования. Да еще на разных языках сложности!
- сам рейтинг https://prollm.toqan.ai/leaderboard
- Дискуссия с вопросами к составителям этого рейтинга - тут
К примеру, TypeScript
- на уровне "вопросы от новичков" - лидер, который обгоняет даже GPT-4 и прочих платных титанов - бесплатная LLama 3 8B, которую, кажется, можно запустить даже на RTX 3060.
Как опытный пользователь и предсказатель, я тут должен заметить
- это не означает, что Llama 3 8b может заменить джуниора. Это скорее означает - "в следующие 3-5 лет мы увидим IDE (редакторы кода) с такими автоподсказами и заполнениями строк, которые и не снились сейчас!"
Эх, а помню, как нынешние автоподсказки в JetBrains меня шокировали в 2016, когда я пересел с блокнотоподобных редакторов на полноценный профессиональный редактор кода, я просто плакал и читал справки по подсвеченному коду сразу в контекстном окне.
Как и следовало ожидать, на уровнях средних - маленькая нейронка LLama 3 8b быстро сдает позиции гигантам.
А на профессиональном уровне внезапно в лидерах нейронка от Гугля, которую (и которого) все чморят за неуспевание. На самом деле отличная нейронка, просто не так распиаренная. И менеджменту Гугла есть о чем подумать, если им пока есть чем, чтобы не загубить такой продукт.
