AUTOMATIC1111 и Lora
Все, наверное об этом уже знают, но пусть будет. Для Stable Diffusion есть WebUi - AUTOMATIC1111. Подробно описано на гитхабе по ссылке, откуда его собственно и брать.
А еще есть модели LoRA - это небольшие обученные модели для Stable Diffusion, которые вносят дополнительные изменения в генерацию изображений и используются вместе со стандартными моделями («checkpoint files» формата «ckpt» или «safetensors»). Почитать про них можно здесь или ещё где-то в гугле. Собственно модели искать можно на https://civitai.com/.
Установка LLM на скромном VPS - рекламная статья, но все же. Как можно установить модель на VDS.