Приличная LLM для кодинга

[nikitayev]

Надыбал приличную локальную LLM:
https://huggingface.co/mav23/Dracarys2-72B-Instruct-GGUF


mav23/Dracarys2-72B-Instruct-GGUF · Hugging Face


We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

попробовать можно тайский вариант онлайн:
https://demo72b.aieat.or.th/


OpenThaiGPT UI

OpenThaiGPT chatbot web interface

demo72b.aieat.or.th

Пробовать в LM-Studio:


LM Studio - Experiment with local LLMs

Run Llama, Mistral, Phi-3 locally on your computer.

lmstudio.ai

4bit квантование, это, конечно, ужасно, но другого нет.

Пока на просторах HuggingFace нет самой Qwen2.5-72B-Instruct, но есть этот вариант.