FLUX

FLUX — семейство моделей Black Forest Labs для создания и редактирования изображений. Разберём его устройство, запуск в ComfyUI и совместимость компонентов: возможности и лицензия зависят от конкретной версии.

Коротко

Коротко. FLUX — не одна модель, а семейство для text-to-image и редактирования. Одни варианты доступны через API, другие публикуются как веса, третьи оптимизированы для малого числа шагов. Слова dev, schnell, pro, base и номер поколения имеют значение.

Откуда появилось семейство

Black Forest Labs основали исследователи с опытом работы над генеративными моделями изображений. Первая линейка FLUX.1 стала известна как семейство на основе трансформеров в отличие от классических U-Net-моделей Stable Diffusion. Позже семейство расширилось, поэтому описание одного поколения нельзя переносить на все последующие.

Например, модель для генерации по тексту и модель для редактирования фотографии могут ожидать разные входы. Наличие слова FLUX в названии не делает их взаимозаменяемыми.

Что различается между вариантами

• Способ доступа: API или скачиваемые веса.
• Назначение: генерация с нуля, редактирование, работа с референсами или базовая модель для обучения.
• Скорость: обычная траектория или дистиллированный режим.
• Размер и числовая точность: влияют на память и выбор программы запуска.
• Лицензия: разрешённые способы использования весов и результатов, включая ограничения коммерческого применения.
• Управление: поддержка изображений, масок, ControlNet-подобных условий и LoRA.

Название FLUX без этих уточнений не подходит для воспроизводимой схемы.

Как устроена генерация

Модели семейства используют transformer-блоки для обработки текстовых и визуальных представлений и методы семейства flow matching или rectified flow для пути от шума к данным. Точная схема зависит от поколения.

Упрощённый процесс:

1. Текст кодируется одним или несколькими энкодерами.
2. Готовится начальное скрытое представление — шум или зашумлённый исходник. В некоторых схемах редактирования исходное изображение передаётся отдельно как условие.
3. Transformer оценивает направление обновления с учётом текста и других условий.
4. Алгоритм выборки делает переходы по заданному расписанию.
5. Автоэнкодер преобразует результат в изображение.

Число каналов скрытого представления, способ разбиения на блоки и текстовые энкодеры берутся из конфигурации точной модели.

Промпт и текст внутри изображения

В промпте можно описать сцену, отношения между объектами, свет и нужную надпись. Но выполнение подробной инструкции и точность букв — разные критерии качества.

Точный русский текст, логотип, таблица и юридическая подпись по-прежнему надёжнее добавляются после генерации кодом или редактором. Если надпись создаёт модель, она проходит OCR и ручную проверку.

Редактирование и референсы

Часть моделей принимает исходное изображение, маску или несколько визуальных референсов. Они могут менять объект, сохранять композицию или переносить признаки между кадрами.

Качество оценивается по двум независимым осям:

• выполнилась ли инструкция;
• сохранились ли области, которые менять не просили.

Впечатляющий новый объект не компенсирует случайно изменившееся лицо, товар или текст на упаковке. Как сформулировать эти две части задачи и проверить результат, показано в разборе контекстного редактирования изображений.

Наглядный пример

Дизайнеру нужно заменить фон предметной фотографии и сохранить сам товар.

Он выбирает вариант FLUX с поддержкой редактирования, описывает область изменения и, если это предусмотрено, задаёт её маской и создаёт несколько кандидатов. Затем сравнивает:

• геометрию товара с исходником;
• логотип и мелкие надписи;
• контактную тень;
• цвет материала;
• край маски;
• соответствие нового фона задаче.

Наложение исходника помогает обнаружить изменение формы товара. Если сам предмет должен остаться пиксельно неизменным, можно сгенерировать фон отдельно и совместить его с исходным предметом в редакторе.

Обычные и ускоренные версии

Дистиллированный вариант обучен проходить траекторию за меньшее число шагов. Его sampler, scheduler и guidance могут отличаться от базовой модели.

Ускорение может повлиять на мелкие детали, разнообразие или выполнение сложной инструкции. Поэтому настройки одного варианта не стоит считать подходящими для другого только из-за общего названия.

LoRA и дообучение

LoRA должна соответствовать архитектуре, поколению и целевым слоям. Адаптер от FLUX.1 не считается автоматически совместимым с другим поколением.

При обучении сохраняют:

• точную базовую модель и её ревизию;
• лицензию;
• разрешение обучающих изображений и подписи;
• ранг адаптера и выбранные слои;
• код обучения и версии зависимостей;
• набор независимых проверочных сцен.

FLUX в ComfyUI

ComfyUI поддерживает разные архитектуры через отдельные загрузчики и ноды. Схема FLUX может требовать нескольких файлов: трансформера, текстовых энкодеров, автоэнкодера и LoRA.

При переносе графа проверяются:

• поколение и вариант модели;
• формат и числовая точность весов;
• совместимые текстовые энкодеры и VAE;
• sampler, scheduler и guidance;
• лицензия custom nodes;
• пик памяти на нужном размере.

Встроенный Manager помогает установить нужное расширение, если оно требуется. Наличие пакета не заменяет проверку файлов моделей и прав на их использование. При ошибке загрузки пригодится руководство по Custom Nodes, а при странных цветах после декодирования — разбор совместимости VAE.

Лицензия

Лицензия относится к конкретному выпуску. У API, открытых весов, dev-вариантов, базовых моделей и производных могут быть разные условия. Некоторые лицензии разрешают коммерческое использование изображений, но ограничивают коммерческий запуск самих весов или обучение конкурирующих моделей.

Перед проектом читают лицензию из репозитория точного файла и условия BFL для выбранного способа доступа. Для коммерческого сервиса на собственном сервере важно разрешение на такой запуск, а не только возможность скачать веса.

Память и производительность

Требования зависят от числа параметров, точности, квантизации, размера кадра, числа одновременных изображений и переноса части вычислений или весов из видеопамяти. Поэтому один список подходящих видеокарт не описывает всё семейство FLUX.

При пробном запуске полезно записать:

• точные файлы и хеши;
• программу запуска и способ выполнения вычислений;
• размер кадра и число шагов;
• время первого запуска и повторной генерации после загрузки модели;
• пик памяти;
• качество на одинаковых seed.

Частые ошибки

• Считать FLUX.1 и FLUX.2 одной архитектурой. Поколения проверяются отдельно.
• Переносить LoRA между поколениями. Совпадение названия не даёт совместимости.
• Использовать dev в бизнесе по принципу «веса скачиваются». Право определяет лицензия.
• Считать настройки ускоренной версии универсальными. Guidance и scheduler могут отличаться.
• Доверять надписи без проверки. Генеративный текст остаётся вероятностным.
• Сравнивать скорость по чужой видеокарте. Важны вся схема и числовая точность.

Частые вопросы

Какой FLUX выбрать?

Сначала определить задачу и способ доступа: API, локальная генерация, редактирование или обучение. Затем сравнить совместимые варианты по качеству, стоимости и лицензии.

Можно ли использовать коммерчески?

Зависит от конкретного файла или API. Проверяется актуальная лицензия и, при необходимости, разрешение на коммерческий запуск на собственном сервере.

Почему LoRA не загружается?

Возможная причина — несовпадение поколения, архитектуры, имён слоёв или формата. Сообщение об ошибке помогает сузить поиск; карточка адаптера показывает, для какой базы он предназначен.

FLUX заменяет Stable Diffusion?

Это разные экосистемы с собственными весами моделей, адаптерами и требованиями. Выбор зависит от нужных инструментов, лицензии и существующих workflow.

Главное

FLUX — семейство моделей изображений на основе трансформеров. Для генерации, редактирования и обучения нужны подходящие версии и компоненты. Сохранённые файлы, настройки и контрольные примеры помогают повторить результат и понять, что изменилось после обновления.

Описание способов доступа есть в документации Black Forest Labs, а код и ссылки на модели первого семейства — в официальном репозитории FLUX.1.