LoRA в ComfyUI: стиль, персонажи, ракурсы и обучение

Один персонаж в разных сценах

Допустим, для серии иллюстраций нужна одна героиня: дома, на улице и в кафе. Первый портрет подходит, но после смены одежды и фона модель рисует уже другое лицо. Сохранённый seed не решает задачу: при новом промпте меняется и результат.

LoRA может помочь связать узнаваемую внешность с персонажем. Это адаптер с обученными поправками к базовой модели. Подобным способом можно обучить стиль, конкретный предмет или повторяемый формат изображения. Насколько точно они воспроизводятся, зависит от данных, обучения и условий генерации.

Low-Rank Adaptation появилась как способ адаптировать большие модели без переобучения всех исходных параметров. Вместо отдельной полной копии модели хранится сравнительно небольшая низкоранговая поправка. База задаёт общие возможности, LoRA адаптирует их под выбранную задачу.

Что такое LoRA простыми словами

При полном дообучении меняются исходные веса модели. При обычном обучении LoRA база остаётся замороженной, а для выбранных слоёв обучаются две небольшие матрицы. Их произведение задаёт поправку к большой матрице весов.

Упрощённая запись для одного такого слоя:

новые веса = исходные веса + сила подключения × обученная поправка

Это операция над весами, а не сложение готовых изображений. В самой поправке есть масштабирование, связанное с настройками обучения; ползунок силы дополнительно усиливает или ослабляет её.

Именно поэтому LoRA легко включать и выключать. Базовый checkpoint остаётся тем же, а адаптер можно подгрузить на один прогон, поменять силу, заменить другим, поставить два сразу или вообще убрать из workflow.

В ComfyUI это особенно наглядно: LoRA обычно ставят между загрузкой модели и KSampler. Нода получает model и clip, применяет адаптер и отдаёт дальше уже изменённую пару. В результате KSampler работает не с «чистой» базой, а с базой, на которую применена обученная поправка.

Какие LoRA бывают на практике

LoRA часто описывают слишком узко: «файл для стиля» или «файл для персонажа». На практике адаптер может менять разные свойства модели — от внешнего вида объекта до реакции на условие.

Style LoRA меняет визуальный язык. Она может придать кадру вид акварели, журнальной иллюстрации, предметной фотографии или трёхмерного рендера. При проверке важно смотреть не только на палитру и фактуру, но и на сохранность нужных объектов и композиции.

Character LoRA помогает сохранять узнаваемого персонажа. Это лицо, причёска, характерные пропорции, иногда одежда или узнаваемый силуэт. Для комиксов, рекламных серий, сторибордов и видео это один из самых практичных вариантов. Но даже удачный адаптер не гарантирует одинаковое лицо при любом ракурсе и освещении.

Concept LoRA учит модель конкретному объекту, одежде, устройству, форме или сложной детали. Например, необычный костюм, мебель из каталога, фантастический аппарат, фирменный аксессуар. Такой адаптер полезен, если нужного предмета нет в возможностях базы или он получается слишком приблизительно.

Task LoRA не столько про внешний стиль, сколько про навык: лист ракурсов, несколько видов товара, контурный рисунок, согласованная поза или другой повторяемый формат ответа. Смысл такого адаптера не в новом персонаже, а в более устойчивой структуре результата.

Utility LoRA решает маленькую, но неприятную проблему: лучше рисовать руки, убирать типичный пластик, держать ткань, делать чистые края, улучшать определённый тип освещения. Эти обещания нужно проверять на своих сценах: адаптер для рук может одновременно менять лица или общий стиль. Перечисленные названия — удобные категории по назначению, а не разные форматы файлов.

Стиль: свет, фактура и композиция

Style LoRA хороша тем, что работает не как фильтр поверх готовой картинки. Она влияет на генерацию раньше, в момент, когда изображение ещё рождается из шума. Поэтому стиль может проникать глубже: в форму теней, в поведение бликов, в силуэт, в цветовые связки.

Если в обучающих данных стиль связан с одной позой или фоном, эти признаки могут появляться вместе. Например, акварельный адаптер всякий раз добавляет цветы, хотя в промпте их нет. Слишком большая сила подключения иногда усиливает такой эффект.

Подходящая сила зависит от того, как адаптер обучен и какие компоненты он меняет. Понятнее всего начать с рекомендации автора, затем на одном seed сравнить выключенный адаптер, исходную рекомендацию и соседние значения. Так видно, где стиль проявляется, а где появляются нежелательные изменения композиции.

Персонаж: что показывать при обучении

Если все фотографии сняты с одного угла и при похожем свете, адаптеру трудно отделить внешность человека от условий съёмки. Он может повторять фон, выражение лица и искажения объектива даже там, где они не нужны. Один снимок можно использовать в некоторых способах персонализации, но по нему нельзя узнать, как человек действительно выглядит со всех сторон.

Полезный набор для персонажа обычно включает:

1. Несколько ракурсов лица: фронт, три четверти, профиль.
2. Разные выражения, в том числе те, которые нужны в будущей серии.
3. Несколько дистанций: крупный план, поясной, полный рост.
4. Достаточно чёткие детали лица и разнообразные условия съёмки без нежелательной обработки.
5. Подписи, где отделены постоянные признаки от случайных.

Если персонаж всегда в красном пиджаке, LoRA может решить, что красный пиджак — часть личности. Иногда это нужно. Иногда это портит работу: вы просите зимнее пальто, а в результате снова появляется пиджак.

Подписи к датасету помогают связать текст с изображением. Но подпись «красный пиджак» сама по себе не научит менять одежду, если других примеров нет. Слово-триггер вроде ns_person можно использовать для вызова персонажа, если адаптер обучался с ним. Это условный пример, а не встроенная команда ComfyUI.

Несколько ракурсов одного объекта

Отдельная ветка — LoRA для ракурсов. Она полезна там, где модель понимает композицию, но не всегда сохраняет один объект при смене точки обзора: в листах персонажей, товарных видах и концепт-арте.

Обычный prompt «front view, side view, back view» часто даёт сетку с несовпадающими деталями. Лицо меняется. Одежда пересобирается. Детали на профиле не совпадают с фронтом. Вроде «похоже», но для производства мало.

Task LoRA под multi-angle view учит модель самой структуре задачи. Не просто «покажи человека сбоку», а «собери лист ракурсов, где один персонаж не распадается». Его задача — помочь согласовать виды, а не только изменить художественный стиль.

LoRA не превращает генерацию в точный трёхмерный рендер. Она может улучшить согласованность, но скрытую сторону предмета модель всё равно додумывает. Совместимые ControlNet, IP-Adapter, референсы и черновая 3D-модель помогают задать форму. Если геометрия должна совпадать точно, сами виды надёжнее получать рендером одной 3D-модели.

Сила LoRA: главный ползунок

У LoRA есть сила применения. В интерфейсе она может называться weight, strength или multiplier. Это множитель обученной поправки. Параметр alpha в настройках обучения — другое: он участвует в масштабировании LoRA вместе с рангом и не обязательно совпадает с ползунком силы при генерации.

Встроенная нода Load LoRA в ComfyUI показывает два регулятора:

• strength_model — влияние на модель, которая рисует изображение;
• strength_clip — влияние на поддерживаемый текстовый энкодер, если соответствующие веса есть в адаптере.

Не каждый файл содержит поправки для обоих компонентов, а разные архитектуры устроены по-разному. Поэтому равные значения — лишь возможная стартовая точка, а не правило. Если LoRA затрагивает текстовый энкодер, раздельная настройка помогает отделить визуальное влияние от изменения интерпретации prompt.

Удобное сравнение состоит из трёх кадров: база без LoRA, значение из карточки автора и соседнее значение при прежнем seed. Для персонажа оцениваются лицо и изменяемость одежды; для стиля — сохранность сцены; для объекта — геометрия и способность появляться в разных контекстах; для task LoRA — структура требуемого вывода. Если все кадры становятся слишком похожими, причиной может быть не prompt, а слишком сильное влияние адаптера.

Отрицательная сила LoRA: странно, но иногда полезно

Да, LoRA можно применять с отрицательной силой. В ComfyUI поля силы допускают отрицательные значения, и это не баг. Математически всё просто: если положительная LoRA добавляет выученную поправку, отрицательная пытается вычесть её направление.

Например, отрицательное значение иногда ослабляет выученное направление, но результат не обязан выглядеть как аккуратный «антистиль». Поведение зависит от самого адаптера и от того, к каким слоям он применяется.

Это экспериментальный приём, а не обязательная часть workflow. Его можно проверять небольшими изменениями на фиксированном seed и сразу сравнивать с базой без LoRA. Если изображение теряет цвет, структуру или естественность, отрицательное значение просто не подходит этой паре базы и адаптера.

Как сочетать несколько LoRA

ComfyUI легко позволяет поставить цепочку LoRA. База прошла через первый адаптер, затем через второй, затем через третий. Так можно совместить персонажа и стиль, но эффекты адаптеров не обязательно независимы.

Например, в одной цепочке могут оказаться:

1. Character LoRA на героиню.
2. Style LoRA на акварель.
3. Outfit LoRA на платье.
4. Lighting LoRA на летний контровой свет.
5. Utility LoRA для рук.
6. Ещё одна LoRA «потому что красиво».

Каждый из этих адаптеров может менять больше одного свойства. Стилевой адаптер влияет на одежду, а адаптер для рук — на фактуру кожи. При длинной цепочке трудно понять, откуда пришёл нежелательный эффект.

Более прозрачный порядок выглядит так:

1. Сначала базовый prompt без LoRA.
2. Затем одна главная LoRA.
3. Потом вторая, если она действительно нужна.
4. Каждую новую LoRA добавлять на фиксированном seed.
5. Для каждой пары сохранить пример без второго адаптера, чтобы конфликт был виден.

У суммы весов нет универсального безопасного порога. Два адаптера могут конфликтовать даже при небольших значениях или хорошо сочетаться при более заметных — всё зависит от пересечения выученных признаков и целевых слоёв.

Baked LoRA: когда адаптер запекают в модель

Обычная LoRA подключается отдельно: её можно выключить или изменить силу. Если в рабочем процессе важно сократить число отдельных файлов, адаптер иногда объединяют с копией базовой модели.

Если поправка встроена в веса базы, говорят о запекании или слиянии — baked или fused LoRA. Слово merge также используют для объединения нескольких адаптеров в один, поэтому важно уточнять, что именно сохраняет инструмент: новую LoRA или полную модель.

Плюсы объединённого варианта:

• проще раздавать один файл вместо пары «модель + LoRA»;
• меньше риска забыть нужный адаптер в workflow;
• удобно для зафиксированной сборки, где адаптер всегда применяется одинаково.

Минусы тоже серьёзные:

• сложнее менять силу;
• сложнее отключить эффект;
• смешивание адаптеров может дать нежелательный эффект, а повторные операции в низкой точности — добавить численные погрешности;
• нужно хранить полную модель, а не только небольшой адаптер; при том же формате итоговый файл обычно близок по размеру к исходной базе;
• нужно внимательно соблюдать лицензию базы и LoRA.

На этапе поиска адаптер удобнее оставлять отдельным: так проще менять силу, сравнивать версии и возвращаться к чистой базе. Объединение имеет смысл после проверки на разных промптах, seed и сценах. Оригинальную базу и адаптер лучше сохранить отдельно: вычитание поправки из уже округлённых весов не гарантирует точного восстановления.

Где скачивать LoRA

Надёжнее начинать со страницы автора, репозитория проекта или карточки, где видны происхождение файла и история версий. Название каталога само по себе ничего не гарантирует: важны конкретный автор, совместимость, лицензия и возможность проверить файл.

Перед скачиванием полезны пять пунктов:

1. Base model. LoRA должна быть совместима с архитектурой и версией базовой модели; похожие названия не делают веса взаимозаменяемыми.
2. Trigger word. Нужно ли специальное слово и как оно использовалось при обучении. Некоторым адаптерам оно не требуется.
3. Рекомендуемая сила. Указано ли значение для первой пробы и с какими условиями его проверяли.
4. Лицензия. Особенно для коммерческих проектов, лиц, брендов и стилевых адаптеров.
5. Разнообразные примеры. Один идеальный кадр не показывает, как адаптер ведёт себя на других сценах.

Файл неизвестного происхождения лучше не включать сразу в рабочую библиотеку. Safetensors ограничивает возможности произвольного выполнения кода из весов, но не подтверждает авторство, качество данных или лицензию.

Чем обучать LoRA на практике

При выборе программы для обучения полезно проверить несколько вещей: поддерживает ли он точную базовую модель и формат LoRA, сохраняет ли конфигурацию, позволяет ли отделить обучающую выборку от проверочной, показывает ли промежуточные образцы и можно ли воспроизвести запуск позже.

Локальный тренер даёт больше контроля над файлами и окружением. Облачный сервис снимает часть настройки, но добавляет вопросы приватности, стоимости и сохранности данных. В обоих случаях важны данные, подписи, параметры обучения и проверка на новых сценах. Удобный интерфейс не исправит противоречивый набор примеров.

Как организовать первое обучение

Первую LoRA проще оценить, если у неё одна задача: например, только персонаж или только визуальная манера, без одновременной попытки выучить одежду, позы и фирменную палитру.

Минимальный маршрут:

1. Собрать изображения, которые можно использовать для обучения, с нужными ракурсами и условиями. Для реального человека заранее согласовать использование его снимков и будущие изображения.
2. Убрать дубли, неудачные кадры и изображения с неверным персонажем. Разнообразие фонов и одежды стоит сохранить, если они не должны закрепиться за персонажем.
3. Подготовить подписи: отделить постоянные признаки от изменяемых и определить trigger word, если он нужен.
4. Выбрать совместимую базу и сохранить точное имя её версии.
5. Обучить короткий пробный вариант и сохранить конфигурацию запуска.
6. Проверить его на наборе промптов и сцен, которых не было в обучении.
7. Сравнить несколько сил при одинаковом seed и отдельно проверить базу без LoRA.
8. При переобучении пересмотреть данные, подписи и длительность обучения; при слабом эффекте — совместимость, trigger word и конфигурацию обучения.

Для первой проверки подходит отдельный чистый workflow без дополнительных адаптеров и структурных контролей. После того как вклад LoRA виден сам по себе, её легче подключить к реальной сборке и заметить конфликт.

Как подключать LoRA в ComfyUI

В базовом workflow связь обычно выглядит так:

1. Load Checkpoint загружает совместимую базовую модель, текстовый энкодер и VAE.
2. Его выходы MODEL и CLIP подключаются к одноимённым входам Load LoRA.
3. В Load LoRA выбираются файл адаптера и сила.
4. Выход MODEL этой ноды идёт в KSampler, а выход CLIP — в узлы кодирования положительного и отрицательного текста.
5. Закодированные условия идут в KSampler. VAE остаётся подключённым к декодированию, как в исходной схеме.

Это схема для подходящих checkpoint-моделей, например SDXL. Если компоненты модели загружаются раздельно или LoRA изменяет только модель, набор загрузчиков будет другим; удобнее взять совместимый пример.

Несколько Load LoRA можно соединить цепочкой. Смысловые названия нод — например, Character LoRA, Style LoRA и Multi-angle LoRA — помогают видеть роль каждого адаптера и не путать порядок.

После подключения проверьте:

• файл лежит в models/loras;
• LoRA рассчитана на выбранную базу;
• trigger word есть в prompt, если он нужен;
• сила не стоит случайно на 0;
• при нескольких LoRA порядок и силы понятны;
• seed фиксирован для теста.

Слабый эффект может быть связан с несовместимой базой, отсутствующим trigger word, неподходящей силой или тем, что файл меняет не те компоненты, которые ожидает workflow. Слишком заметный и однообразный эффект может быть связан с чрезмерной силой, переобучением или конфликтом адаптеров.

Частые ошибки

Подключить LoRA к несовместимой базе. Результатом становится ошибка, отсутствие эффекта или непредсказуемое изображение. Совместимость начинается с архитектуры и точной версии базы.

Оценивать по одному примеру. Картинка на странице автора может быть результатом отбора, дорисовки, структурного контроля, увеличения и постобработки. Полезно сравнить несколько сцен и посмотреть полные настройки.

Обучать персонажа на одинаковых фото. Адаптер может слишком тесно связать персонажа с одной позой и фоном. Разные ракурсы и точные подписи помогают проверить и уменьшить этот риск.

Ставить силу на максимум. Более заметный эффект не обязательно означает более точный: адаптер может подавить prompt, разнообразие и возможности базовой модели.

Запекать слишком рано. Пока вы не уверены, что адаптер нужен всегда, держите его отдельным файлом.

Путать LoRA с ControlNet. LoRA адаптирует веса, а ControlNet передаёт дополнительное пространственное условие: позу, глубину или контуры. В совместимой схеме их можно использовать вместе.

Забывать об условиях использования. Работоспособность файла не означает, что его можно распространять или использовать в любом проекте. Кроме лицензии адаптера важны условия базы, происхождение материалов и согласие человека, если используется его внешность.

Как это связано с другими разборами Neurosaver

Если вы только входите в ComfyUI, начните с разбора ComfyUI с нуля. Там показан минимальный workflow, к которому можно добавить совместимую LoRA.

Если картинка меняется слишком сильно или почти не меняется в img2img, пригодится разбор Denoising Strength. Если цвет уезжает после смены модели или workflow, посмотрите материал про VAE. Если хочется понять базовую экосистему моделей, откройте большой гид по Stable Diffusion.

Словарные страницы тоже полезны как короткие справки: LoRA, FLUX, SDXL, Qwen, Trigger Word, Fine-tuning, Model Merge, Safetensors.

Источники и куда смотреть дальше

• LoRA: Low-Rank Adaptation of Large Language Models — оригинальная идея low-rank adaptation.
• Diffusers: Load LoRA adapters — загрузка и управление LoRA в Diffusers.
• Diffusers: Merge LoRAs — смешивание и запекание LoRA через fuse/merge-подходы.
• Diffusers: Train LoRA — официальная документация по обучению LoRA.
• ComfyUI: LoraLoader — входы, выходы, диапазоны силы и цепочка нескольких адаптеров.
• ComfyUI: пример с одной LoRA — расположение файлов и базовое подключение ноды.
• ComfyUI: несколько LoRA — официальный пример цепочки адаптеров.

Главное

LoRA — небольшой управляемый слой поверх базовой модели. Он может закрепить персонажа, стиль, объект или узкий визуальный приём, но его эффект зависит от совместимости с базой и силы подключения. Понятный тест начинается с чистой базы, одной LoRA и фиксированного seed; следующие адаптеры добавляют после того, как виден вклад первого.