> Нехватка RAM проявляется у меня как жуткие фризы всей системы, которые обычно сами прекращаются через несколько минут падением программы для генерации, но иногда приходится даже перезагружать комп
Я сталкивался с похожей проблемой, когда экспериментировал с SD Forge, но они прекратились целиком, когда я перешёл на ComfyUI.
Попытка остановить процесс генерации могла привести к жёсткому фризу, выхода из которого я не дожидался и просто прожимал перезагрузку.
> 4 GB - хватит для SD 1.5 c ограничениями
SDXL вполне запускается (для работы с разрешением 1024x1024 и апскейлом в 2 раза). Конечно, генерации по 4-5 минут не очень удобны, но потенциально я могу сократить это время в 4 раза, используя дистиллят DMD2 (если найду его или обучу для облюбованной модели). Оставшейся минуты мне уже может не хватать на перестройку воркфлоу или переписывание промпта.
Хорошая видеокарта (у которой в VRAM помещается модель целиком) ускорит процесс генерации на порядок, насколько я могу судить из сравнения с опытом других пользователей.
> 16XX (архитектура Turing) - полноценная поддержка fp16 со скоростью 2х от fp32
Я пробовал принудительно перевести ComfyUI на использование типа fp16, скорость генерации замедлилась примерно в 3 раза.
Похоже, там всё заоптимизировано для более универсального типа fp32, а доступ к другим типам весов моделей не даёт выгод, вероятно.
"SDXL вполне запускается" Это то, что в автоматике называется --lowvram, а Forge и Comfy этот режим сами выставляют. Я сам долго с ним экспериментировал, но в итоге меня достало, так что, кмк, ориентироваться на него в общем случае не стоит. Тут уже зависит от нервов конкретного человека. С 6GB видеопамяти у меня получалось на некоторых моделях уложиться в 960х960 с режимом --medvram, но это на автоматике, а Форж/Комфи так сделать не дадут (они себя умнее считают).
"Хорошая видеокарта (у которой в VRAM помещается модель целиком)" Не совсем. Для скорости достаточно, чтобы программа не сваливалась в lowvram, а medvram на производительность почти не влияет. У Комфи, емнип, medvram это вообще дефолтный режим. Модель при этом бьется на три крупные части.
"Я пробовал принудительно перевести ComfyUI на использование типа fp16, скорость генерации замедлилась примерно в 3 раза." Да, в документации по автоматику есть оговорки про 1600-ю серию, хотя сама карта точно имеет поддержку fp16. Вполне возможно, что дело в софте. Надо копать.
> Нехватка RAM проявляется у меня как жуткие фризы всей системы, которые обычно сами прекращаются через несколько минут падением программы для генерации, но иногда приходится даже перезагружать комп
Я сталкивался с похожей проблемой, когда экспериментировал с SD Forge, но они прекратились целиком, когда я перешёл на ComfyUI.
Попытка остановить процесс генерации могла привести к жёсткому фризу, выхода из которого я не дожидался и просто прожимал перезагрузку.
> 4 GB - хватит для SD 1.5 c ограничениями
SDXL вполне запускается (для работы с разрешением 1024x1024 и апскейлом в 2 раза). Конечно, генерации по 4-5 минут не очень удобны, но потенциально я могу сократить это время в 4 раза, используя дистиллят DMD2 (если найду его или обучу для облюбованной модели). Оставшейся минуты мне уже может не хватать на перестройку воркфлоу или переписывание промпта.
Хорошая видеокарта (у которой в VRAM помещается модель целиком) ускорит процесс генерации на порядок, насколько я могу судить из сравнения с опытом других пользователей.
> 16XX (архитектура Turing) - полноценная поддержка fp16 со скоростью 2х от fp32
Я пробовал принудительно перевести ComfyUI на использование типа fp16, скорость генерации замедлилась примерно в 3 раза.
Похоже, там всё заоптимизировано для более универсального типа fp32, а доступ к другим типам весов моделей не даёт выгод, вероятно.
Reply
Это то, что в автоматике называется --lowvram, а Forge и Comfy этот режим сами выставляют. Я сам долго с ним экспериментировал, но в итоге меня достало, так что, кмк, ориентироваться на него в общем случае не стоит. Тут уже зависит от нервов конкретного человека. С 6GB видеопамяти у меня получалось на некоторых моделях уложиться в 960х960 с режимом --medvram, но это на автоматике, а Форж/Комфи так сделать не дадут (они себя умнее считают).
"Хорошая видеокарта (у которой в VRAM помещается модель целиком)"
Не совсем. Для скорости достаточно, чтобы программа не сваливалась в lowvram, а medvram на производительность почти не влияет. У Комфи, емнип, medvram это вообще дефолтный режим. Модель при этом бьется на три крупные части.
"Я пробовал принудительно перевести ComfyUI на использование типа fp16, скорость генерации замедлилась примерно в 3 раза."
Да, в документации по автоматику есть оговорки про 1600-ю серию, хотя сама карта точно имеет поддержку fp16. Вполне возможно, что дело в софте. Надо копать.
Reply
Leave a comment