LoRA в ComfyUI: стиль, персонажи, ракурсы и обучение

Что и как меняет LoRA

Один персонаж в разных сценах

Допустим, для серии иллюстраций нужна одна героиня: дома, на улице и в кафе. Первый портрет подходит, но после смены одежды и фона модель рисует уже другое лицо. Сохранённый seed не решает задачу: при новом промпте меняется и результат.

LoRA может помочь связать узнаваемую внешность с персонажем. Это адаптер с обученными поправками к базовой модели. Подобным способом можно обучить стиль, конкретный предмет или повторяемый формат изображения. Насколько точно они воспроизводятся, зависит от данных, обучения и условий генерации.

Low-Rank Adaptation появилась как способ адаптировать большие модели без переобучения всех исходных параметров. Вместо отдельной полной копии модели хранится сравнительно небольшая низкоранговая поправка. База задаёт общие возможности, LoRA адаптирует их под выбранную задачу.

Что такое LoRA простыми словами

При полном дообучении меняются исходные веса модели. При обычном обучении LoRA база остаётся замороженной, а для выбранных слоёв обучаются две небольшие матрицы. Их произведение задаёт поправку к большой матрице весов.

Упрощённая запись для одного такого слоя:

новые веса = исходные веса + сила подключения × обученная поправка

Это операция над весами, а не сложение готовых изображений. В самой поправке есть масштабирование, связанное с настройками обучения; ползунок силы дополнительно усиливает или ослабляет её.

Именно поэтому LoRA легко включать и выключать. Базовый checkpoint остаётся тем же, а адаптер можно подгрузить на один прогон, поменять силу, заменить другим, поставить два сразу или вообще убрать из workflow.

В ComfyUI это особенно наглядно: LoRA обычно ставят между загрузкой модели и KSampler. Нода получает model и clip, применяет адаптер и отдаёт дальше уже изменённую пару. В результате KSampler работает не с «чистой» базой, а с базой, на которую применена обученная поправка.

Какие LoRA бывают на практике

LoRA часто описывают слишком узко: «файл для стиля» или «файл для персонажа». На практике адаптер может менять разные свойства модели — от внешнего вида объекта до реакции на условие.

Style LoRA меняет визуальный язык. Она может придать кадру вид акварели, журнальной иллюстрации, предметной фотографии или трёхмерного рендера. При проверке важно смотреть не только на палитру и фактуру, но и на сохранность нужных объектов и композиции.

Character LoRA помогает сохранять узнаваемого персонажа. Это лицо, причёска, характерные пропорции, иногда одежда или узнаваемый силуэт. Для комиксов, рекламных серий, сторибордов и видео это один из самых практичных вариантов. Но даже удачный адаптер не гарантирует одинаковое лицо при любом ракурсе и освещении.

Concept LoRA учит модель конкретному объекту, одежде, устройству, форме или сложной детали. Например, необычный костюм, мебель из каталога, фантастический аппарат, фирменный аксессуар. Такой адаптер полезен, если нужного предмета нет в возможностях базы или он получается слишком приблизительно.

Task LoRA не столько про внешний стиль, сколько про навык: лист ракурсов, несколько видов товара, контурный рисунок, согласованная поза или другой повторяемый формат ответа. Смысл такого адаптера не в новом персонаже, а в более устойчивой структуре результата.

Utility LoRA предназначена для отдельного улучшения: уменьшить ошибки рук, неестественную гладкость кожи, искажения ткани или неровные края. Некоторые адаптеры меняют определённый тип освещения. Эти обещания нужно проверять на своих сценах: адаптер для рук может одновременно менять лица или общий стиль. Перечисленные названия — удобные категории по назначению, а не разные форматы файлов.

У видеомоделей адаптеры могут управлять и характером обработки целого клипа. Примеры очистки кадра, изменения света и пространственного контроля собраны в разборе LoRA для LTX. Переносить их на модель изображений нельзя без проверки совместимости.

Стиль, персонаж и ракурсы

Стиль: свет, фактура и композиция

Style LoRA влияет на генерацию, а не накладывает фильтр на готовую картинку. Поэтому меняться могут не только цвета и фактура, но и форма теней, блики, силуэты и композиция.

Если в обучающих данных стиль связан с одной позой или фоном, эти признаки могут появляться вместе. Например, акварельный адаптер всякий раз добавляет цветы, хотя в промпте их нет. Слишком большая сила подключения иногда усиливает такой эффект.

Подходящая сила зависит от того, как адаптер обучен и какие компоненты он меняет. Понятнее всего начать с рекомендации автора, затем на одном seed сравнить выключенный адаптер, исходную рекомендацию и соседние значения. Так видно, где стиль проявляется, а где появляются нежелательные изменения композиции.

Персонаж: что показывать при обучении

Если все фотографии сняты с одного угла и при похожем свете, адаптеру трудно отделить внешность человека от условий съёмки. Он может повторять фон, выражение лица и искажения объектива даже там, где они не нужны. Один снимок можно использовать в некоторых способах персонализации, но по нему нельзя узнать, как человек действительно выглядит со всех сторон.

Полезный набор для персонажа обычно включает:

1. Несколько ракурсов лица: фронт, три четверти, профиль.
2. Разные выражения, в том числе те, которые нужны в будущей серии.
3. Несколько дистанций: крупный план, поясной, полный рост.
4. Достаточно чёткие детали лица и разнообразные условия съёмки без нежелательной обработки.
5. Подписи, где отделены постоянные признаки от случайных.

Если персонаж всегда в красном пиджаке, LoRA может решить, что красный пиджак — часть личности. Иногда это нужно. Иногда это портит работу: вы просите зимнее пальто, а в результате снова появляется пиджак.

Подписи к датасету помогают связать текст с изображением. Но подпись «красный пиджак» сама по себе не научит менять одежду, если других примеров нет. Слово-триггер вроде ns_person можно использовать для вызова персонажа, если адаптер обучался с ним. Это условный пример, а не встроенная команда ComfyUI.

Несколько ракурсов одного объекта

Отдельная ветка — LoRA для ракурсов. Она полезна там, где модель понимает композицию, но не всегда сохраняет один объект при смене точки обзора: в листах персонажей, товарных видах и концепт-арте.

Обычный prompt «front view, side view, back view» может дать сетку с несовпадающими деталями: на одном виде меняется лицо, на другом — одежда, а профиль противоречит виду спереди. Общее сходство есть, но для производства, где нужен один и тот же объект, его недостаточно.

Task LoRA для нескольких ракурсов может обучаться на согласованных видах одного объекта. Её задача — помочь связать эти виды, а не только изменить художественный стиль. Результат зависит от конкретного адаптера и его данных; название multi-angle само по себе не обещает точной геометрии.

LoRA не превращает генерацию в точный трёхмерный рендер. Она может улучшить согласованность, но скрытую сторону предмета модель всё равно додумывает. Совместимые ControlNet, IP-Adapter, референсы и черновая 3D-модель помогают задать форму. Если геометрия должна совпадать точно, сами виды надёжнее получать рендером одной 3D-модели.

Сила и сочетание адаптеров

Сила LoRA: главный ползунок

У LoRA есть сила применения. В интерфейсе она может называться weight, strength или multiplier. Это множитель обученной поправки. Параметр alpha в настройках обучения — другое: он участвует в масштабировании LoRA вместе с рангом и не обязательно совпадает с ползунком силы при генерации.

Встроенная нода Load LoRA в ComfyUI показывает два регулятора:

• strength_model — влияние на модель, которая рисует изображение;
• strength_clip — влияние на поддерживаемый текстовый энкодер, если соответствующие веса есть в адаптере.

Не каждый файл содержит поправки для обоих компонентов, а разные архитектуры устроены по-разному. Поэтому равные значения — лишь возможная стартовая точка, а не правило. Если LoRA затрагивает текстовый энкодер, раздельная настройка помогает отделить визуальное влияние от изменения интерпретации prompt.

Удобное сравнение состоит из трёх кадров: база без LoRA, значение из карточки автора и соседнее значение при прежнем seed. Для персонажа оцениваются лицо и изменяемость одежды; для стиля — сохранность сцены; для объекта — геометрия и способность появляться в разных контекстах; для task LoRA — структура требуемого вывода. Если все кадры становятся слишком похожими, причиной может быть не prompt, а слишком сильное влияние адаптера.

Отрицательная сила LoRA: странно, но иногда полезно

Да, LoRA можно применять с отрицательной силой: в ComfyUI это допустимое значение поля. Положительный коэффициент добавляет выученную поправку к весам, а отрицательный меняет её знак. Предсказать видимое изменение по одному знаку нельзя.

Например, отрицательное значение иногда ослабляет выученное направление, но результат не обязан выглядеть как аккуратный «антистиль». Поведение зависит от самого адаптера и от того, к каким слоям он применяется.

Это экспериментальный приём, а не обязательная часть workflow. Его можно проверять небольшими изменениями на фиксированном seed и сразу сравнивать с базой без LoRA. Если изображение теряет цвет, структуру или естественность, отрицательное значение просто не подходит этой паре базы и адаптера.

Как сочетать несколько LoRA

ComfyUI легко позволяет поставить цепочку LoRA. База прошла через первый адаптер, затем через второй, затем через третий. Так можно совместить персонажа и стиль, но эффекты адаптеров не обязательно независимы.

Например, в одной цепочке могут оказаться:

1. Character LoRA на героиню.
2. Style LoRA на акварель.
3. Outfit LoRA на платье.
4. Lighting LoRA на летний контровой свет.
5. Utility LoRA для рук.
6. Ещё одна LoRA «потому что красиво».

Каждый из этих адаптеров может менять больше одного свойства. Стилевой адаптер влияет на одежду, а адаптер для рук — на фактуру кожи. При длинной цепочке трудно понять, откуда пришёл нежелательный эффект.

Более прозрачный порядок выглядит так:

1. Сначала базовый prompt без LoRA.
2. Затем одна главная LoRA.
3. Потом вторая, если она действительно нужна.
4. Каждую новую LoRA добавлять на фиксированном seed.
5. Для каждой пары сохранить пример без второго адаптера, чтобы конфликт был виден.

У суммы весов нет универсального безопасного порога. Два адаптера могут конфликтовать даже при небольших значениях или хорошо сочетаться при более заметных — всё зависит от пересечения выученных признаков и целевых слоёв.

Baked LoRA: когда адаптер запекают в модель

Обычная LoRA подключается отдельно: её можно выключить или изменить силу. Если в рабочем процессе важно сократить число отдельных файлов, адаптер иногда объединяют с копией базовой модели.

Если поправка встроена в веса базы, говорят о запекании или слиянии — baked или fused LoRA. Слово merge также используют для объединения нескольких адаптеров в один, поэтому важно уточнять, что именно сохраняет инструмент: новую LoRA или полную модель.

Плюсы объединённого варианта:

• проще раздавать один файл вместо пары «модель + LoRA»;
• меньше риска забыть нужный адаптер в workflow;
• удобно для зафиксированной сборки, где адаптер всегда применяется одинаково.

Минусы тоже серьёзные:

• сложнее менять силу;
• сложнее отключить эффект;
• смешивание адаптеров может дать нежелательный эффект, а повторные операции в низкой точности — добавить численные погрешности;
• нужно хранить полную модель, а не только небольшой адаптер; при том же формате итоговый файл обычно близок по размеру к исходной базе;
• нужно внимательно соблюдать лицензию базы и LoRA.

На этапе поиска адаптер удобнее оставлять отдельным: так проще менять силу, сравнивать версии и возвращаться к чистой базе. Объединение имеет смысл после проверки на разных промптах, seed и сценах. Оригинальную базу и адаптер лучше сохранить отдельно: вычитание поправки из уже округлённых весов не гарантирует точного восстановления.

Поиск и обучение

Где скачивать LoRA

Надёжнее начинать со страницы автора, репозитория проекта или карточки, где видны происхождение файла и история версий. Название каталога само по себе ничего не гарантирует: важны конкретный автор, совместимость, лицензия и возможность проверить файл.

Перед скачиванием полезны пять пунктов:

1. Base model. LoRA должна быть совместима с архитектурой и версией базовой модели; похожие названия не делают веса взаимозаменяемыми.
2. Trigger word. Нужно ли специальное слово и как оно использовалось при обучении. Некоторым адаптерам оно не требуется.
3. Рекомендуемая сила. Указано ли значение для первой пробы и с какими условиями его проверяли.
4. Лицензия. Особенно для коммерческих проектов, лиц, брендов и стилевых адаптеров.
5. Разнообразные примеры. Один идеальный кадр не показывает, как адаптер ведёт себя на других сценах.

Файл неизвестного происхождения лучше не включать сразу в рабочую библиотеку. Safetensors ограничивает возможности произвольного выполнения кода из весов, но не подтверждает авторство, качество данных или лицензию.

Чем обучать LoRA на практике

При выборе программы для обучения полезно проверить несколько вещей: поддерживает ли она точную базовую модель и формат LoRA, сохраняет ли конфигурацию, позволяет ли отделить обучающую выборку от проверочной, показывает ли промежуточные образцы и можно ли воспроизвести запуск позже.

Локальный тренер даёт больше контроля над файлами и окружением. Облачный сервис снимает часть настройки, но добавляет вопросы приватности, стоимости и сохранности данных. В обоих случаях важны данные, подписи, параметры обучения и проверка на новых сценах. Удобный интерфейс не исправит противоречивый набор примеров.

Как организовать первое обучение

Первую LoRA проще оценить, если у неё одна задача: например, только персонаж или только визуальная манера, без одновременной попытки выучить одежду, позы и фирменную палитру.

Минимальный маршрут:

1. Собрать изображения, которые можно использовать для обучения, с нужными ракурсами и условиями. Для реального человека заранее согласовать использование его снимков и будущие изображения.
2. Убрать дубли, неудачные кадры и изображения с неверным персонажем. Разнообразие фонов и одежды стоит сохранить, если они не должны закрепиться за персонажем.
3. Подготовить подписи: отделить постоянные признаки от изменяемых и определить trigger word, если он нужен.
4. Выбрать совместимую базу и сохранить точное имя её версии.
5. Обучить короткий пробный вариант и сохранить конфигурацию запуска.
6. Проверить его на наборе промптов и сцен, которых не было в обучении.
7. Сравнить несколько сил при одинаковом seed и отдельно проверить базу без LoRA.
8. При переобучении пересмотреть данные, подписи и длительность обучения; при слабом эффекте — совместимость, trigger word и конфигурацию обучения.

Для первой проверки подходит отдельный чистый workflow без дополнительных адаптеров и структурных контролей. После того как вклад LoRA виден сам по себе, её легче подключить к реальной сборке и заметить конфликт.

Подключение и типичные ошибки

Как подключать LoRA в ComfyUI

В базовом workflow связь обычно выглядит так:

1. Load Checkpoint загружает совместимую базовую модель, текстовый энкодер и VAE.
2. Его выходы MODEL и CLIP подключаются к одноимённым входам Load LoRA.
3. В Load LoRA выбираются файл адаптера и сила.
4. Выход MODEL этой ноды идёт в KSampler, а выход CLIP — в узлы кодирования положительного и отрицательного текста.
5. Закодированные условия идут в KSampler. VAE остаётся подключённым к декодированию, как в исходной схеме.

Это схема для подходящих checkpoint-моделей, например SDXL. Если компоненты модели загружаются раздельно или LoRA изменяет только модель, набор загрузчиков будет другим; удобнее взять совместимый пример.

Несколько Load LoRA можно соединить цепочкой. Смысловые названия нод — например, Character LoRA, Style LoRA и Multi-angle LoRA — помогают видеть роль каждого адаптера и не путать порядок.

После подключения проверьте:

• файл лежит в models/loras;
• LoRA рассчитана на выбранную базу;
• trigger word есть в prompt, если он нужен;
• сила не стоит случайно на 0;
• при нескольких LoRA порядок и силы понятны;
• seed фиксирован для теста.

Слабый эффект может быть связан с несовместимой базой, отсутствующим trigger word, неподходящей силой или тем, что файл меняет не те компоненты, которые ожидает workflow. Слишком заметный и однообразный эффект может быть связан с чрезмерной силой, переобучением или конфликтом адаптеров.

Частые ошибки

Подключить LoRA к несовместимой базе. Результатом становится ошибка, отсутствие эффекта или непредсказуемое изображение. Совместимость начинается с архитектуры и точной версии базы.

Оценивать по одному примеру. Картинка на странице автора может быть результатом отбора, дорисовки, структурного контроля, увеличения и постобработки. Полезно сравнить несколько сцен и посмотреть полные настройки.

Обучать персонажа на одинаковых фото. Адаптер может слишком тесно связать персонажа с одной позой и фоном. Разные ракурсы и точные подписи помогают проверить и уменьшить этот риск.

Ставить силу на максимум. Более заметный эффект не обязательно означает более точный: адаптер может подавить prompt, разнообразие и возможности базовой модели.

Запекать слишком рано. Пока вы не уверены, что адаптер нужен всегда, держите его отдельным файлом.

Путать LoRA с ControlNet. LoRA адаптирует веса, а ControlNet передаёт дополнительное пространственное условие: позу, глубину или контуры. В совместимой схеме их можно использовать вместе.

Забывать об условиях использования. Работоспособность файла не означает, что его можно распространять или использовать в любом проекте. Кроме лицензии адаптера важны условия базы, происхождение материалов и согласие человека, если используется его внешность.

Связанные темы и источники

Как это связано с другими разборами Neurosaver

Если вы только входите в ComfyUI, начните с разбора ComfyUI с нуля. Там показан минимальный workflow, к которому можно добавить совместимую LoRA.

Если картинка меняется слишком сильно или почти не меняется в img2img, пригодится разбор Denoising Strength. Если после смены модели или workflow искажаются цвета, посмотрите материал про VAE. Устройство базовой экосистемы объясняет большой гид по Stable Diffusion.

Отдельный случай — LoRA для заметно дообученной базы. Почему происхождение checkpoint и его словарь условий важнее общего названия архитектуры, показывает история Pony Diffusion.

Словарные страницы тоже полезны как короткие справки: LoRA, FLUX, SDXL, Qwen, Trigger Word, Fine-tuning, Model Merge, Safetensors.

Источники и куда смотреть дальше

Если нужно пройти подключение на собственном графе, можно использовать материалы Timesaver в разделе ComfyUI. Для обучения своего адаптера есть отдельный разбор датасета, LoRA и полного файнтюнинга.

• LoRA: Low-Rank Adaptation of Large Language Models — оригинальная идея low-rank adaptation.
• Diffusers: Load LoRA adapters — загрузка и управление LoRA в Diffusers.
• Diffusers: Merge LoRAs — смешивание и запекание LoRA через fuse/merge-подходы.
• Diffusers: Train LoRA — официальная документация по обучению LoRA.
• ComfyUI: LoraLoader — входы, выходы, диапазоны силы и цепочка нескольких адаптеров.
• ComfyUI: пример с одной LoRA — расположение файлов и базовое подключение ноды.
• ComfyUI: несколько LoRA — официальный пример цепочки адаптеров.

Главное

LoRA — небольшой управляемый слой поверх базовой модели. Он может закрепить персонажа, стиль, объект или узкий визуальный приём, но его эффект зависит от совместимости с базой и силы подключения. Понятный тест начинается с чистой базы, одной LoRA и фиксированного seed; следующие адаптеры добавляют после того, как виден вклад первого.