Выбор метода сэмплирования (sampling method) в Stable Diffusion зависит от ваших конкретных требований к скорости и точности. Вот некоторые основные моменты, которые стоит учесть:
- Сэмплирование отвечает за процесс устранения шума. Stable Diffusion сначала генерирует полностью случайное изображение в скрытом пространстве. Затем предиктор шума оценивает шум изображения. Предсказанный шум вычитается из изображения. Этот процесс повторяется несколько раз. В конце вы получаете чистое изображение.
- сэмплирования.
- Расписание шума контролирует уровень шума на каждом шаге сэмплирования. Шум наибольший на первом шаге и постепенно снижается до нуля на последнем шаге.
- На момент написания статьи, в AUTOMATIC1111 доступно 19 сэмплеров.
- Выбор сэмплера в этом процессе значительно влияет на компромисс между скоростью и точностью.
- Ниже представлен процесс выборки в действии. Сэмплер постепенно создает все более и более чистые изображения.
Вот некоторые конкретные сэмплеры, которые доступны в Stable Diffusion:
- Euler: Этот простой и быстрый сэмплер является классикой для решения обыкновенных дифференциальных уравнений (ODE).
- Heun: Еще один классический сэмплер, который также используется для решения ODE.
- LMS (Linear multi-step method): Этот сэмплер использует линейный многошаговый метод для решения ODE.
- DDIM: Этот сэмплер является одним из корней Stable Diffusion. DDIM и PLMS (псевдолинейный многоэтапный метод) были пробоотборниками, поставляемыми с исходной версией Stable Diffusion v1 . При этом PLMS — это более новая и быстрая альтернатива DDIM. Обычно они считаются устаревшими и больше не используются широко.
- PLMS: Еще один сэмплер, который был разработан на основе Stable Diffusion.
- DPM и DPM++: Это новые сэмплеры, которые каждый по-своему сочетают скорость, точность и характеристики модели.DPM (Diffusion вероятностная модель решателя) и DPM++ — это новые семплеры, предназначенные для диффузионных моделей, выпущенные в 2022 году. Они представляют собой семейство решателей схожей архитектуры. DPM и DPM2 похожи, за исключением того, что DPM2 имеет второй порядок (более точный, но медленный). DPM++ — это улучшение по сравнению с DPM.
- UniPC (Unified Predictor-Corrector): Этот сэмплер был разработан в 2023 году и наследует черты методов предиктор-корректор, способных генерировать изображения высокого качества за минимальное количество шагов: 5–10.
- Это сокровищница сэмплеров, созданных на основе знаний Кэтрин Кроусон, которые привносят находки Карраса 2022 года на передний план.
Сравним окончательные образцы изображения
Быстрый DPM++ потерпел неудачу. Родительские образцы предков не сходились с изображением, к которому сходились другие сэмплеры. Родительские сэмплеры имеют тенденцию сходиться к образу котенка, тогда как детерминистические сэмплеры имеют тенденцию сходиться к образу – кошке. Не существует правильных ответов, пока они вам нравятся.
Какой же сэмплер использовать?
Достойный выбот:
DPM++ 2M Karras – хорошая скорость .
DPM++SDE Каррас – хорошее качество.
Опытные пользователи утверждают, что «Модель LCM превосходит обе эти модели с помощью сэмплера k-Euler-Ancestral, используя 4-8 шагов в масштабе 1-2 CFG (512×768). Изображения получаются очень быстрыми и божественного качества. Использование Lora также улучшит детализацию за счет небольшого количества времени.»
Мы проверили Модель LCM – фото генерирует действительно очень быстро, но на минимальных настройках картинки получаются размытые:
Настройки: Sampling steps: 8 , CFG Scale: 2 + LoRA LCM (в промпте: <lora:pytorch_lora_weights:1>), дает лучший результат и хороши для генерации анимации и видео с размытым задним планом:
Чтобы ускорить генерацию изображений в Stable Diffusion, достаточно одного LoRA LCM, который можно реализовать непосредственно в промпте ( <lora:pytorch_lora_weights:1>), как и обычные LoRA. Посетите официальную получения доступа.
Страницы для скачивания файла LCM LoRA
В вашем распоряжении как LCM SDXL, так и LCM SD 1.5 LoRA:
Оттуда вы можете скачать файл “pytorch_lora_weight.safetensors”
В любом случае, если вашей целью является стабильное воспроизводимое изображение, вам не следует использовать предковые сэмплеры, потому что все они не сходятся.
