Общие выводы по работе модели InferenceIllusionist: Mistral-Large-Instruct-2407-iMat-GGUF/Mist

[nikitayev]

Характеристики




Параметры

Значение temperature: 0

Штраф за повторение: 1.1

Min P: 0.0000001

Top P: 0.000001

Top K: 500

Размер пакета оценивания: 10000

Flash Attention: включён

Разгрузка GPU: 50/88

Длина контекста: 32768

Системный промпт: You are an assistant to a programmer. Realize full code for program.

Потоки CPU: 72

Prompt template: Alpaca

Используемый сервер

• 2 процессора Intel Xeon E5-2695 v4 LGA2011-3, 18 x 2100 МГц
• 512ГБ ОЗУ DDR4 2400 МГц ECC
• Видеокарта GeForce GTX 1080

Оценка результатов кодогенерации программы на Python 3.11 для Windows

Программа запускается без ошибок? - Да.

Главная форма является наследником QMainWindow? - Да

Присутствует импорт необходимых функций из модуля background_utils? - Да

Присутствует импорт из cv2? - Да

Присутствует импорт из numpy? - Да

Присутствует импорт из PyQt5.QtCore? - Да

Присутствует импорт из PyQt5.QtGui? - Да

Присутствует импорт из PyQt5.QtWidgets? - Да

Присутствует создание немодальной формы FiltersWindow? - Да

Присутствует создание немодальной формы BackgroundRemovalWindow? - Да

Присутствует создание немодальной формы CalcDeltaWindow? - Да

Присутствуют команды открытия видеофайла? - Да

Присутствуют команды старта и паузы видеофайла? - Да

Присутствуют команды остановки видеофайла? - Да

Присутствует TrackBar для возможности увидеть и изменить позицию в видеофайле? - Да

Есть возможность выбрать и добавить/удалить нужные фильтры на форме FiltersWindow? - Да

Команды управления просмотром видеофайлом находятся на панели, прижатой к нижнему краю? - Нет

Фильтры успешно отрабатывают без ошибок? - Нет

Внешний вид программы



Результат запуска модели

{ "indexedModelIdentifier": "InferenceIllusionist/Mistral-Large-Instruct-2407-iMat-GGUF/Mistral-Large-Instruct-2407-iMat-Q8_0-00001-of-00003.gguf", "identifier": "InferenceIllusionist/Mistral-Large-Instruct-2407-iMat-GGUF/Mistral-Large-Instruct-2407-iMat-Q8_0-00001-of-00003.gguf", "loadModelConfig": { "fields": [ { "key": "llm.load.contextLength", "value": 32768 }, { "key": "llm.load.llama.acceleration.offloadRatio", "value": 0.625 }, { "key": "llm.load.llama.evalBatchSize", "value": 10000 }, { "key": "llm.load.llama.flashAttention", "value": true } ] }, "predictionConfig": { "fields": [ { "key": "llm.prediction.promptTemplate", "value": { "type": "manual", "manualPromptTemplate": { "beforeSystem": "", "afterSystem": "\n\n", "beforeUser": "### Instruction:\n", "afterUser": "\n\n", "beforeAssistant": "### Response:\n", "afterAssistant": "\n\n" }, "stopStrings": [ "### Instruction:" ] } }, { "key": "llm.prediction.llama.cpuThreads", "value": 72 }, { "key": "llm.prediction.temperature", "value": 0 }, { "key": "llm.prediction.llama.minPSampling", "value": { "checked": true, "value": 1e-7 } }, { "key": "llm.prediction.llama.topPSampling", "value": { "checked": true, "value": 0.000001 } }, { "key": "llm.prediction.llama.topKSampling", "value": 500 }, { "key": "llm.prediction.systemPrompt", "value": "You are an assistant to a programmer.\nRealize full code for program." } ] }, "stats": { "stopReason": "eosFound", "tokensPerSecond": 0.05646602291014529, "numGpuLayers": -1, "timeToFirstTokenSec": 6551.442, "promptTokensCount": 7543, "predictedTokensCount": 3364, "totalTokensCount": 10907 } }

Выводы

Модель Mistral-Large-Instruct-2407 даёт приемлемый по качеству результат кодогенерации программы на Python 3.11 для Windows.

Процесс занимает очень большое время для использованной конфигурации компьютера - более 12 часов.

Модель можно рекомендовать для создания программ целиком по качественно подготовленному техническому заданию.