Протестировал разные модели ИИ для программиста и сделал выводы

[nikitayev]

Если коротко - то победу одержала модель TheBloke/Mixtral-8x7B-Instruct-v0.1, которую можно найти тут:

TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF - считается одной из лучших моделей с делением на 8 экспертов по 7B параметров. Обновлена 11 декабря 2023.

Как я понял из статьи "Mixtral 8x7B - Sparse Mixture of Experts от Mistral AI" - это что-то типа 8 экспертов в одной комнате думают над одной задачей и поправляют друг друга. В результате, становится возможным повысить температуру аж до 2 (аналог "креативности") и запущенная модель будет очень охотно генерировать код программы по представленному техническому заданию. Да - тут можно победить лень и при этом ответы модели будут адекватными и не содержать массу разных ошибок.

Собрал все самые интересные модели в список:

1. xai-org/grok-1 - самая продвинутая и самая свежая модель от Илона Маска с 314B параметров. Потребуется компьютер с 512ГБ оперативной памяти. Обновлена 22 марта 2024.
2. TheBloke/Falcon-180B-Chat-GGUF - очень большая модель. Обновлена 19 октября 2023.
3. TheBloke/Falcon-180B-GGUF- очень большая модель. Обновлена 19 октября 2023.
4. mradermacher/falcon-180B-i1-GGUF - очень большая модель. Есть возможность задать вопрос онлайн. Обновлена 10 февраля 2024.
5. TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF - считается одной из лучших моделей с делением на 8 экспертов по 7B параметров. Обновлена 11 декабря 2023.

1. h2oai/h2ogpt-32k-codellama-34b-instruct - показывает хороший результат. Обновлена 19 октября 2023. Попробовать можно внутри сайта для nocode программирования https://h2oai.github.io/h2o-llmstudio/
2. TheBloke/CodeLlama-70B-Instruct-GGUF - большая модель для кодеров. Обновлена 30 января 2024.
3. mradermacher/CodeRosa-70B-AB1-GGUF - большая модель для кодеров. Обновлена 20 марта 2024.
4. dranger003/deepseek-coder-33b-instruct-iMat.GGUF - свежее обновление для модели deepseeker кодеров. Обновлена 18 февраля 2024.
5. TheBloke/deepseek-coder-33B-instruct-GGUF - большая модель для кодеров. Обновлена 05 ноября 2023.
6. NousResearch/Hermes-2-Pro-Mistral-7B-GGUF - большая модель для кодеров. Обновлена 12 марта 2024.
7. TheBloke/Phind-CodeLlama-34B-v2-GGUF - используется на сайте Phind.com и показывает очень хорошие результаты. Обновлена 05 сентября 2023.

Программы клиенты для запуска моделей:

1. koboldcpp - не требует установки и умеет всё. Есть Web интерфейс и API. Для C# есть и не один пакет - KoboldSharp.
2. GPT4All - аналог koboldcpp, но без Web интерфейса. Тоже есть API. В Visual Studio Nuget наверняка есть пакет для GPT4All.
3. LM Studio - предположительно, самая продвинутая версия клиента для запуска AI моделей. Интерфейс как у GPT4All и как у Chat GPT-4, но без Web интерфейса.

Мне понравилась первая - koboldcpp уверенно тащит все запускаемые модели, имеет массу настроек и есть API, доступный в Visual Studio в виде готовых Nuget пакетов.

В давние времена изучал пакет для работы с нейросетями AlgLib и пришёл к выводу, что искусственные нейросети - это скорее искусство, чем наука.

Современные модели для ИИ также скорее искусство.

Модель Mixtral 8x7B получилась весьма удачной - наверное, большие языковые модели от Open AI, Google и все остальные просто обязаны сделать выводы и получить наборы внутренних экспертов, которые будут вносить элемент самоконтроля.

Ведь, на самом деле, уже достаточно того кода, который собран для обучения, чтобы любое техническое задание было с успехом выполнено, просто потому, что не обязательно использовать все новейшие "навороты" языков программирования, чтобы сделать любую задачу.

Всё упирается в:

1. Качество задаваемых вопросов (качество технического задания)
2. Уровень разрешённой "креативности" для запущенной модели (регулирование "лени")
3. Самоконтроля (ошибки генерации)
4. Обеспечения связности при переходе к следующему блоку
5. Количеству выделенных токенов
6. Правильному выбору сценария

И, конечно, нужен достаточно мощный компьютер с достаточным количеством оперативной памяти.

Далее приведу ссылки на свои статьи в ЖЖ, где оценил качество кодогенерации и привёл скриншоты настроек.

Реальная задача и ответ на неё от ИИ 20 марта

Успешное выполнение технического задания программистом с искусственным интеллектом под капотом 23 марта

Вторая кодогенерация (mixtral-8x7b-instruct) 23 марта

Третья кодогенерация (mixtral-8x7b-instruct) 23 марта

Четвёртая кодогенерация (deepseek-coder-33b-instruct.Q8_0.gguf) 23 марта

Пятая кодогенерация (codellama-70b-hf.Q5_K_M.gguf) 23 марта

Шестая кодогенерация (CodeRosa-70B-AB1.Q5_K_M.gguf) 23 марта

С едьмая кодогенерация (CodeRosa-70B-AB1) 23 марта

кроме того, пробовал запускать медицинскую модель TheBloke/med42-70B-GGUF - показывает отличные результаты и её не пугает даже температура 2.Но только если запускать в koboldcpp!