Одно лицо, разные миры: как обучить свою LoRA на Krea 2

Что именно мы хотим научить модель повторять

В первом кадре героиня стоит у окна, во втором идёт по вечерней улице. Свет, одежда и выражение лица меняются, но зритель должен узнать одного человека. В другой задаче никакого постоянного героя нет: нужны кот, городской двор и натюрморт, словно нарисованные для одной книги. А для каталога мебели требуется сохранить форму конкретного кресла, меняя интерьер вокруг него.

Во всех трёх случаях может пригодиться LoRA. Но если отправить в обучение одинаково собранные наборы, результаты будут разными. Для персонажа повторяется внешность, для стиля — манера изображения, для предмета — его конструкция. От этого выбора зависит почти вся дальнейшая работа.

В качестве технического примера возьмём Krea 2. Общие принципы отбора изображений и проверки результата пригодятся и с другими моделями. Названия файлов, совместимость и настройки обучения относятся именно к выбранной реализации: переносить их в другую программу без сверки не стоит.

LoRA, DreamBooth и полный файнтюнинг: где разница

Файнтюнинг — дообучение готовой модели на новых данных. Она уже умеет создавать изображения; мы меняем её поведение под свою задачу. Обучать всё с нуля ради одного персонажа обычно незачем.

LoRA — один из способов такого дообучения. Основные веса остаются замороженными, а обучение изменяет небольшие добавочные матрицы в выбранных слоях. Получается отдельный адаптер: его можно подключать к совместимой базе и отключать. Устройство метода описано в документации PEFT.

Полный файнтюнинг обновляет сами веса обучаемой модели или её основного компонента, например генератора изображений. Слово «полный» не обязательно означает, что одновременно обучаются текстовый энкодер и VAE: состав изменяемых компонентов нужно смотреть в конфигурации. Результат обычно сохраняют как новый чекпойнт, а не как маленькое дополнение к исходному.

DreamBooth обозначает подход к персонализации по примерам конкретного субъекта. Это не противоположность LoRA: персонализацию можно реализовать через адаптер. В исходной работе DreamBooth исследуется перенос узнаваемого субъекта в новые сцены по небольшому набору изображений. Из этого не следует, что несколько любых селфи гарантируют хороший результат на любой модели.

Удобнее разделять два вопроса: «чему обучаем?» и «какие параметры меняем?». Персонаж и стиль отвечают на первый. LoRA и полный файнтюнинг — на второй.

Задача	Что сохраняется	Что должно свободно меняться
Персонаж	Узнаваемая внешность	Поза, свет, фон; одежда, если она не часть образа
Стиль	Манера, палитра, характер материалов	Герои, предметы, композиции
Конкретный объект	Форма и отличительные детали	Ракурс, окружение, способ съёмки
Семейство объектов	Общие признаки категории	Конкретные экземпляры и их допустимые отличия

Что доступно у Krea 2 и почему RAW не равно Turbo

У Krea есть облачный интерфейс Train, а у Krea 2 — также опубликованные веса и локальные инструменты. Это два разных пути. Кнопки облачного сервиса не являются инструкцией для локального тренера, а название модели в сервисе не доказывает, что её адаптер можно скачать и перенести.

В официальном описании Krea Train перечислены режимы Style, Character и Object. Там же описаны загрузка набора, работа с подписями и управление видимостью LoRA. Условия доступа и ограничения следует проверять в своём аккаунте перед запуском: старое объявление о бета-доступе не подтверждает состояние конкретной учётной записи.

Для открытых весов разработчики разделяют две роли. Krea 2 RAW — недистиллированная база для дообучения. Krea 2 Turbo — модель для быстрой генерации. Рекомендованный маршрут: обучить LoRA на RAW и использовать её на Turbo. Это прямо указано в официальном репозитории Krea 2.

Отсюда практическое следствие: промежуточные результаты полезно смотреть на той модели, с которой предстоит работать. Красивый или неудачный пример на другой базе не отвечает на вопрос, как поведёт себя ваш рабочий процесс.

RAW при этом не «сломанная версия Turbo». У неё другое назначение и другой режим генерации. Неудачный кадр из RAW с настройками Turbo ничего не говорит о качестве датасета.

И ещё одна граница: Krea 2 и FLUX.1 Krea — не взаимозаменяемые базы. Совпадения части названия недостаточно для совместимости адаптеров. В паспорте эксперимента нужно сохранять полный идентификатор исходной модели.

Персонаж: как отделить лицо от свитера и комнаты

Представим вымышленную героиню Нину. Нужно, чтобы она оставалась узнаваемой в короткой истории: в мастерской, на вокзале, на берегу. Если весь набор снят у одного окна в красном свитере, обучение получает сразу несколько повторяющихся признаков. У него нет нашего намерения «запомнить только лицо».

Поэтому сначала полезно составить маленькую карточку персонажа. Что обязательно: форма лица, нос, линия бровей, характерные особенности? Что разрешено менять: причёску, макияж, одежду, возраст образа? Иногда костюм намеренно постоянный — например, у маскота. Тогда он входит в предмет обучения, и набор собирается иначе.

Для учебного проекта можно начать с двух десятков тщательно отобранных кадров. Это предлагаемый размер пилота, а не минимальное требование Krea 2 и не гарантия качества. У набора с меньшим числом разных полезных примеров может оказаться больше информации, чем у сотни почти одинаковых снимков.

Я бы распределил такой пилот по задачам: несколько отчётливых крупных планов, разные повороты головы, средние планы, немного общего плана, спокойное лицо и несколько естественных выражений. Пропорции зависят от будущей работы. Для портретов и персонажа в полный рост нужны разные акценты.

Неудачные исходники легко проходят отбор просто потому, что красивы. Сильный бьюти-фильтр меняет черты. Широкоугольное селфи искажает пропорции. Волосы закрывают половину лица. Ночная фотография сообщает больше о цветных лампах, чем о человеке. Такие кадры могут пригодиться, но не должны заменять понятные изображения внешности.

Если персонаж изначально сгенерирован, проверка ещё важнее. Два похожих лица не обязательно одно лицо. Небольшие различия формы глаз, подбородка и переносицы в обучающих картинках могут превратиться в постоянную неопределённость результата. Подробный отбор разобран в статье о фотографиях для обучения персонажа.

Стилевая LoRA: одни и те же правила на разных сюжетах

Для стиля нужен почти обратный подход. Если обучать только изображения одной девушки на бежевом фоне, трудно понять, чему научилась LoRA: живописной манере, этой девушке или бежевым портретам.

Допустим, задача — спокойная редакционная иллюстрация с заметной фактурой бумаги и мягкими природными цветами. В наборе могут быть человек у стола, собака у двери, двор, посуда, ветви дерева. Их объединяет способ изображения, а не единственный герой.

Перед отбором полезно описать стиль через наблюдаемые признаки: края форм резкие или мягкие, тени цветные или нейтральные, поверхность гладкая или зернистая, перспектива реалистичная или условная. «Красиво и атмосферно» не помогает решить, принадлежит ли спорная картинка набору.

В проверке пригодится сюжет, которого не было в обучении. Если набор состоял из уютных интерьеров, можно попросить велосипед на открытой площади. Сохранились ли цвета и характер штриха? Не появилась ли вокруг велосипеда комната? Такой запрос быстрее обнаруживает смешение стиля и содержания, чем ещё один знакомый интерьер.

Для серии полезно отдельно хранить описание визуальных правил: оно помогает отбирать результаты даже тогда, когда адаптер уже работает. Этому посвящён разбор единого стиля AI-иллюстраций.

Что такое «общая LoRA» и чего от неё ждать

У выражения «общая LoRA» нет одного строгого технического значения. Так могут назвать адаптер для предметной области, набора связанных концепций или общего изменения визуальной подачи. Прежде чем собирать изображения, лучше заменить это слово конкретной задачей.

Например, есть мастерская керамики. Нужна не копия одной чашки, а семейство предметов с общим характером: слегка неровный край, крапчатая глазурь, определённая толщина стенки. Тогда в набор входят разные чашки, миски и кувшины, а подписи различают их форму и тип. Проверка спрашивает уже не «это тот самый кувшин?», а «новый предмет выглядит частью коллекции?».

Если же требуется точная товарная модель, такое разнообразие может мешать. Адаптер, который усвоил общий язык коллекции, способен придумать новую ручку. Для каталога конкретного изделия это ошибка, для разработки коллекции — допустимый результат. Объектная и доменная задачи похожи внешне, но принимаются по разным критериям.

Смешать в одном наборе любимые портреты, автомобили, акварель и ночные города — ещё не значит получить универсальное улучшение модели. Без общей задачи невозможно даже уверенно решить, стал результат лучше или хуже.

Для первого опыта я бы разделил персонажа и стиль на два эксперимента. Это позволяет понять вклад каждого. Последующее совместное подключение тоже требует проверки: два хороших по отдельности адаптера могут конфликтовать, особенно если оба сильно меняют одни и те же визуальные признаки.

Подписи: что должно быть связано с именем, а что — с описанием

Подпись к обучающей картинке помогает связать видимое с текстом. Она должна описывать конкретный кадр, а не быть рекламным промптом из десятка эпитетов. Автоматический описатель полезен для черновика, но легко ошибается в цветах, предметах и мелких деталях.

Для вымышленного персонажа можно выбрать обозначение nina_subject — trigger word. Это условный идентификатор примера, не специальная команда Krea. В подписи имеет смысл различать персонажа и обстоятельства: «nina_subject, женщина в синем пальто, средний план, стоит боком у окна, мягкий дневной свет».

Если пальто должно меняться, его название помогает отделить эту переменную от идентичности. Если постоянный костюм является частью героя, решение будет другим. Никакая формула подписи не исправит отсутствие нужного разнообразия в самих изображениях.

Для стиля логика похожа: описываем содержание сцены, чтобы оно не превращалось в обязательную часть манеры. Например: «Кот сидит на деревянном подоконнике, рядом глиняный горшок; мягкая бумажная иллюстрация». Последняя фраза здесь — условное обозначение стиля. Она должна быть согласована во всём наборе, а не меняться случайно от файла к файлу.

В примере обучения Krea 2 для Diffusers для стилевой LoRA рекомендован осмысленный стилевой якорь; для объекта или персонажа допустим отдельный trigger word. Это полезный ориентир именно для данного рецепта, а не закон для всех архитектур.

Язык и формат подписей нужно сверять с тренером. Русские формулировки выше объясняют логику. Если выбранный проверенный рецепт использует английские captions, проще подготовить согласованную английскую версию, чем одновременно проверять обучение и влияние смены языка.

Подготовка файлов перед первым запуском

Удобно хранить исходники, подготовленную обучающую выборку и контрольные изображения раздельно. Исходники остаются нетронутыми: если кадрирование оказалось неудачным, не придётся восстанавливать отрезанную часть фотографии.

Дубли лучше искать до разделения набора. Два соседних кадра видеосъёмки в разных папках создают ложное впечатление независимой проверки. Для контрольной подборки полезнее другая съёмка или заметно другие условия, а не почти та же фотография.

Подготовка включает проверку ориентации, декодирования файлов, цвета, видимых водяных знаков и случайных коллажей. Если нужен один герой, групповые снимки добавляют неоднозначность. Если важна асимметричная деталь, например особая застёжка, зеркальное отражение может обучать неправильной конструкции.

Необязательно вручную превращать всё в квадраты. Сначала стоит узнать, поддерживает ли тренер группы соотношений сторон и как кадрирует картинки. Портрет в полный рост, автоматически обрезанный по центру, может превратиться в набор торсов. Проверять нужно подготовленный вход, а не только красивые исходники в папке.

Повышение разрешения само по себе не создаёт достоверных деталей. Агрессивное восстановление лица способно дорисовать другую форму глаз, а усиление резкости — ореолы. Для обучения идентичности такие улучшения особенно сомнительны.

Два пути запуска: облачный Train и собственный тренер

Через интерфейс Krea

Последовательность начинается не с оплаты, а с проверки доступного режима. В Train нужно убедиться, что выбран именно нужный вариант Krea 2, затем указать задачу — персонаж, стиль или объект — и загрузить подготовленный набор. После автоматической обработки стоит просмотреть подписи и исключить ошибки, если интерфейс позволяет их редактировать.

Перед стартом остаются три практических вопроса: сколько стоит именно этот запуск, кто увидит набор и результат, можно ли получить пригодный для вашей дальнейшей работы файл. Мы не предполагаем наличие экспорта только потому, что внутри используется LoRA. Официальное объявление обучения Krea 2 подтверждает сценарий персонализации, но не заменяет проверку текущих условий и функций аккаунта.

Облако удобно тем, что настройку оборудования берёт на себя сервис. За это приходится принимать его ограничения. Для конфиденциального проекта такая передача материалов может быть неприемлемой независимо от удобства интерфейса.

Локально или на арендованной машине

Здесь контроль шире, но и воспроизводимость становится вашей задачей. Нужны доступ к весам, совместимый тренер, достаточная память и сохранённая конфигурация окружения. Арендованный GPU не превращает процесс в локальный с точки зрения передачи данных: изображения всё равно покидают ваш компьютер.

Рабочая последовательность выглядит так:

1. Выбрать один поддерживающий Krea 2 тренер и его рецепт. Не смешивать параметры из разных программ.
2. Зафиксировать версию тренера и модели, прочитать требования к окружению, получить доступ к весам.
3. Указать RAW как базу обучения; выбрать предусмотренный рецептом путь проверки на Turbo, если результат предназначен для Turbo.
4. Подключить данные и убедиться, что подписи, разрешение и кадрирование прочитаны правильно.
5. Выполнить короткий технический прогон, проверить сохранение адаптера и его загрузку в целевом генераторе.
6. Запустить основной эксперимент с промежуточными сохранениями и заранее подготовленными запросами.

В Diffusers есть отдельный скрипт train_dreambooth_lora_krea2.py и параметр validation_model_path для проверки на другой модели. Это важнее случайной команды из комментариев: путь обучения и путь оценки явно различаются. Полный актуальный запуск лучше брать из README этого скрипта, сохранив версию исходников. Здесь мы не выдаём непроверенную на вашей машине команду за готовую установку.

Как понимать настройки, а не угадывать числа

Learning rate, или скорость обучения, определяет масштаб обновлений. Слишком большой шаг может быстро испортить поведение, слишком маленький — не дать заметного изменения за выбранное время. Его оценивают вместе с оптимизатором, объёмом данных и числом обновлений.

Rank задаёт размер низкорангового представления адаптера. Это ёмкость, а не регулятор красоты. Более высокий rank не делает плохо подобранные примеры согласованными. Alpha участвует в масштабировании обновления; трактовку лучше смотреть у конкретного тренера. Эти параметры также не равны силе LoRA при генерации.

Target modules определяют, в какие слои добавляется адаптер. Два запуска с одинаковым rank могут обучать разное количество параметров. Поэтому сравнение настроек по одному числу часто вводит в заблуждение.

Batch size — число примеров, обрабатываемых вместе. Накопление градиентов позволяет собрать обновление из нескольких маленьких пакетов. Оно не уменьшает память, нужную для одного слишком тяжёлого примера. Epoch — проход по выборке, а step в журнале может означать шаг обновления. Повторы изображений и накопление влияют на их соотношение.

Разрешение влияет на память и видимость деталей. Полезно сначала обнаружить технические ошибки дешёвым пробным запуском, но решение о качестве лица принимать на рабочем разрешении. Checkpoint interval определяет частоту сохранения промежуточных вариантов: без них легко остаться только с последней, уже переобученной версией.

Для первой попытки разумнее оставить согласованный рецепт выбранного тренера. Затем менять одну причину за раз: например, данные при одинаковых настройках или длительность при том же наборе. Это предлагаемый порядок эксперимента, а не утверждение о единственном оптимальном режиме Krea 2.

Сколько нужно видеопамяти

Одного требования к памяти «для Krea 2» нет. Расход зависит от точности весов, разрешения, обучаемых слоёв, оптимизатора, переноса вычислений и данных на CPU, а также от способа проверки.

В руководстве SimpleTuner для Krea 2 есть измерения с указанием видеокарты, точности, разрешения и размера пакета. Они полезны как пример сравнения режимов, а не обещание работы на любой карте с похожим объёмом памяти. В описанных испытаниях квантование снижало расход памяти, но замедляло обучение; компиляция могла увеличить пик. Для своей конфигурации нужны отдельные измерения.

Квантизация и offload могут помочь вместить обучение, но иногда увеличивают время или нагрузку на оперативную память. Разницу между памятью видеокарты и системной памятью объясняет разбор VRAM. До аренды на долгий срок полезно измерить короткий прогон: загрузку, подготовку данных, несколько шагов, валидацию и сохранение. Пиковый расход может возникнуть вне основного цикла обучения.

Для оценки бюджета нужны время подготовки, число обновлений, среднее время одного обновления, проверки и запас на повтор. Цена GPU в час без этих составляющих почти ничего не говорит о стоимости готового адаптера.

Как проверить, что LoRA научилась нужному

Контрольная сетка должна появиться до первого хорошего результата. Иначе легко выбрать запрос, на котором случайно получилось, и принять его за доказательство качества.

Для персонажа я бы подготовил четыре типа сцены: нейтральный портрет, другой ракурс, новая одежда и непривычное окружение. Для стиля — знакомый тип сюжета, новый предмет, другая композиция и более сложное освещение. Для изделия — вид спереди, сбоку, крупная деталь и использование в реальной сцене.

Для сравнения сохраняются одни и те же запросы, seeds, база и режим генерации. Несколько seeds полезнее одного удачного: совпадение внешности не должно зависеть от единственного счастливого кадра. Сначала можно сравнить базу без адаптера и несколько промежуточных LoRA. Силу подключения лучше исследовать отдельным проходом, чтобы не менять всё сразу.

Оценка получается понятнее, если разнести её по признакам: узнаваемость, выполнение запроса, отсутствие нежелательных повторов, детали и свобода изменения сцены. «Самая красивая» картинка может хуже передавать персонажа. «Самая похожая» — почти копировать обучающее фото и плохо переноситься в новые условия.

Контрольные фотографии помогают сравнивать внешность, а новые запросы проверяют перенос. Это разные проверки. Если одни и те же контрольные сцены много раз определяли выбор настроек, они уже стали частью настройки эксперимента. Для финального решения пригодится ещё несколько ранее не использованных сцен.

Loss, численная ошибка обучения, не заменяет просмотр. В документации DreamBooth отдельно отмечены чувствительность к настройкам и риск переобучения. Уменьшение ошибки на обучающих данных не гарантирует нужного поведения в новой сцене.

Когда лицо «плывёт», а стиль прилипает ко всему

Что видно	Что проверить сначала
Внешность слабо узнаётся	Согласованность лиц в наборе, подключение адаптера, trigger, совместимость базы
Постоянно возвращается одна одежда	Повторяемость костюма в данных и его описание в подписях
Возникает знакомый фон вопреки запросу	Однообразие окружения, длительность обучения, ранние сохранения
Стиль заметен, но запрос почти не выполняется	Силу подключения, более ранний checkpoint, состав данных и обучаемых слоёв
Файл загрузился, а эффекта нет	Применились ли веса к нужным слоям; нет ли предупреждений о несовпадениях
Детали изделия каждый раз другие	Достаточно ли показана конструкция; не обучалось ли семейство вместо одного предмета

Это не таблица точных диагнозов: одинаковый симптом бывает у разных ошибок. Её смысл — подсказать следующую проверку, а не отправить сразу на новый дорогой запуск. Отдельно разобраны признаки переобучения и способы сохранять одного персонажа в разных кадрах, включая подходы без собственного обучения.

Если результат слишком жёстко повторяет исходники, сначала можно сравнить более ранний адаптер и меньшую силу подключения. Если нужный признак отсутствует во всех версиях, стоит вернуться к данным. Дополнительные часы обучения не показывают модели ракурс, которого она никогда не видела.

Как использовать результат в ComfyUI

Сначала нужен рабочий процесс самой Krea 2 без вашего адаптера. В официальном руководстве ComfyUI есть шаблоны, расположение компонентов модели и примеры стилевых LoRA. Так проще отделить ошибку установки от ошибки обучения.

После успешного базового запуска подключается адаптер. Для обычного размещения LoRA используется папка ComfyUI/models/loras/, но конкретный файл должен поддерживаться загрузчиком выбранного workflow. Расширение .safetensors описывает контейнер данных, а не универсальную совместимость.

Полезно сохранить рядом название базы, тренер, trigger и рекомендованный для вашего эксперимента диапазон силы. Если требуется конвертация ключей, она должна быть предусмотрена разработчиком инструмента. Переименование файла не преобразует внутреннюю структуру весов.

Подключать вторую LoRA, сложную обработку лица и апскейл лучше после проверки первой. Иначе непонятно, какой этап изменил внешность. Для освоения самой логики графа пригодится раздел ComfyUI на TimeSaver: здесь навык чтения связей между узлами помогает не меньше, чем удачные параметры обучения.

Когда нужен полный файнтюнинг

Один персонаж или ограниченная манера изображения — разумная отправная точка для адаптера. К полному файнтюнингу имеет смысл возвращаться, когда есть более широкая задача, достаточно качественных данных и проверяемое ограничение LoRA. Например, команда систематически адаптирует генератор к собственной предметной области и может оценить не только новые возможности, но и потерю прежних.

Прежде чем увеличивать масштаб, полезно ответить на четыре вопроса. Что именно не получается у адаптера? Проверялись ли данные и его ёмкость? Как выглядит успех на новых примерах? Какие исходные способности модель должна сохранить?

Обновление основных весов требует больше ресурсов и аккуратности. Небольшой однообразный набор может сильнее сместить поведение в свою сторону. При этом полный файнтюнинг не отменяет подготовку подписей, независимую проверку и промежуточные сохранения.

Карточка Krea 2 RAW указывает на пригодность базы для дообучения и постобучения. Но готовый рецепт LoRA не становится полным файнтюнингом от смены названия результата. Нужен тренер, который действительно поддерживает обновление основных весов этой архитектуры, и отдельная конфигурация. Проверенные здесь инструкции дают воспроизводимый маршрут именно для адаптера; обещать на их основании готовый полный запуск было бы неточно.

Есть и тонкость с Turbo. Рекомендация переносить LoRA с RAW на Turbo не означает, что произвольно дообученный полный RAW-чекпойнт автоматически становится быстрой Turbo-моделью. Дистилляция — отдельный процесс. Слияние LoRA с базой также не равно полному файнтюнингу: при слиянии применяются уже выученные поправки, нового обучения не происходит.

Права на данные и что сохранить вместе с адаптером

Для реальных людей полезно заранее согласовать саму персонализацию и предполагаемые способы использования изображений. Для чужих иллюстраций, товаров и клиентских материалов нужно проверить основание использования. Это особенно существенно при загрузке в облако и публикации набора или адаптера.

Доступность весов не равна отсутствию условий. Krea 2 распространяется по собственной Community License; перед коммерческим применением следует сверить действующий текст с условиями своего проекта. Лицензия модели, права на исходные изображения и правила облачного сервиса — отдельные вопросы.

Хороший архив эксперимента содержит не только итоговый .safetensors. В нём остаются версия базы и тренера, настройки, список использованных изображений, подписи, trigger, промежуточные оценки и рабочий workflow. Публично отдавать персональные исходники ради воспроизводимости не требуется: внутренний архив и открытая публикация могут иметь разный состав.

В дальнейшем эти материалы становятся частью обычного производства: раскадровки, иллюстрационной серии или подготовки кадров. Связь генерации с монтажом и визуальными эффектами рассматривается на TimeSaver. А для самого обучения полезнее всего короткая запись о принятом решении: какую версию выбрали и на каких сценах она прошла проверку.

Первый эксперимент, который можно осмысленно закончить

Для старта достаточно одной ясной задачи: конкретный персонаж в новой одежде, один визуальный стиль на новых сюжетах или один предмет в другом окружении. Потом — согласованный набор, проверенные подписи, несколько будущих тестовых сцен и один рабочий рецепт.

Сначала технический запуск подтверждает, что данные читаются, адаптер сохраняется и открывается там, где будет использоваться. Затем сравниваются промежуточные результаты. Если сцены становятся разнообразнее, а нужные признаки сохраняются, эксперимент движется в нужную сторону. Если модель возвращает одну и ту же картинку, стоит пересмотреть данные и длительность, а не считать сходство с исходником окончательной победой.

Результат такого опыта — не только файл LoRA. Это понятный диапазон задач, где ему можно доверять, и список условий, в которых понадобится другой подход. Именно с этим уже удобно работать дальше.