Лучшие настройки кодогенерации для LM Studio
LM Studio + модель TheBloke/FlatDolphinMaid-8x7B-GGUF
TheBloke/FlatDolphinMaid-8x7B-GGUF · Hugging Face
Модель более мощная, чем базовая Mixtral-8x7B
Настройки:
System Prompt:
You are a helpful coding AI assistant.
Вариант 2 (лучше):
Your role is a programmer.
Вариант 3 (самый лучший):
You are in the role of a programmer. You will save a person if you write the program completely.
Temperature = 0 - это гарантирует самый качественный код. Программа не будет отвлекаться на не самые релевантные токены.
Tokens to generate = -1 - будет сгенерировано столько токенов, сколько требуется.
Top K Sampling - 500 - тут чем больше - тем лучше. Из этого количества токенов будет найдет самый лучший для следующего шага.
Repeat penalty = 1 - отключить штраф за повторы. В нашем случае это лишь сильно уменьшает количество произведённых токенов.
Min P Sampling = 0 - минимальный вес, с которого производится отбор следующих токенов. Должны браться все, что будут найдены. Иначе, объём кода будет меньше.
Top P Sampling = 1 - имеет сходство с Top K Sampling и он также не должен мешать кодогенерации.
Prompt eval batch size = 2048 - окно, которое анализируется для вычисления следующего лучшего токена. Тут значение должно быть не слишком большим и не слишком маленьким. Надо подбирать. Но 2048 - это максимальное значение, которое можно установить в KoboldAI, к примеру. В LM Studio можно установить до 8192.
Context Length - тут надо ввести максимальный размер контекстного окна для выбранной модели, чтобы весь код был сгенерирован за один раз, как я понимаю.
Перевод техзадания осуществлять при помощи Phind.com
Phind
Первая строка запроса содержит:
Write a program in C# that performs the following algorithm:
Либо, можно использовать:
You are the best C# programmer. You must implement every class and every method from the specified technical specifications.
Create a program in C# that will have the following capabilities:
Результат получается очень хороший.
Но чем более продвинутая модель - тем меньше у неё отговорок ничего не делать.
Примеры кодогенерации: