FLUX

FLUX — семейство генеративных моделей Black Forest Labs для создания и редактирования изображений. В нём есть облачные варианты и модели для самостоятельного запуска, базовые модели и ускоренные версии. Архитектура, входы и лицензия различаются между поколениями, поэтому для работы важна конкретная версия, а не только название семейства.

Коротко

Коротко. FLUX — не одна модель, а семейство для text-to-image и редактирования. Одни варианты доступны через API, другие публикуются как веса, третьи оптимизированы для малого числа шагов. Слова dev, schnell, pro, base и номер поколения имеют значение.

Откуда появилось семейство

Black Forest Labs основали исследователи с опытом работы над генеративными моделями изображений. Первая линейка FLUX.1 стала известна как семейство на основе трансформеров в отличие от классических U-Net-моделей Stable Diffusion. Позже семейство расширилось, поэтому описание одного поколения нельзя переносить на все последующие.

Например, модель для генерации по тексту и модель для редактирования фотографии могут ожидать разные входы. Наличие слова FLUX в названии не делает их взаимозаменяемыми.

Что различается между вариантами

• Способ доступа: API или скачиваемые веса.
• Назначение: генерация с нуля, редактирование, работа с референсами или базовая модель для обучения.
• Скорость: обычная траектория или дистиллированный режим.
• Размер и числовая точность: влияют на память и выбор программы запуска.
• Лицензия: разрешённые способы использования весов и результатов, включая ограничения коммерческого применения.
• Управление: поддержка изображений, масок, ControlNet-подобных условий и LoRA.

Название FLUX без этих уточнений не подходит для воспроизводимой схемы.

Как устроена генерация

Модели семейства используют transformer-блоки для обработки текстовых и визуальных представлений и методы семейства flow matching или rectified flow для пути от шума к данным. Точная схема зависит от поколения.

Упрощённый процесс:

1. Текст кодируется одним или несколькими энкодерами.
2. Готовится начальное скрытое представление — шум или зашумлённый исходник. В некоторых схемах редактирования исходное изображение передаётся отдельно как условие.
3. Transformer оценивает направление обновления с учётом текста и других условий.
4. Алгоритм выборки делает переходы по заданному расписанию.
5. Автоэнкодер преобразует результат в изображение.

Число каналов скрытого представления, способ разбиения на блоки и текстовые энкодеры берутся из конфигурации точной модели.

Промпт и текст внутри изображения

В промпте можно описать сцену, отношения между объектами, свет и нужную надпись. Но выполнение подробной инструкции и точность букв — разные критерии качества.

Точный русский текст, логотип, таблица и юридическая подпись по-прежнему надёжнее добавляются после генерации кодом или редактором. Если надпись создаёт модель, она проходит OCR и ручную проверку.

Редактирование и референсы

Часть моделей принимает исходное изображение, маску или несколько визуальных референсов. Они могут менять объект, сохранять композицию или переносить признаки между кадрами.

Качество оценивается по двум независимым осям:

• выполнилась ли инструкция;
• сохранились ли области, которые менять не просили.

Впечатляющий новый объект не компенсирует случайно изменившееся лицо, товар или текст на упаковке.

Наглядный пример

Дизайнеру нужно заменить фон предметной фотографии и сохранить сам товар.

Он выбирает вариант FLUX с поддержкой редактирования, описывает область изменения и, если это предусмотрено, задаёт её маской и создаёт несколько кандидатов. Затем сравнивает:

• геометрию товара с исходником;
• логотип и мелкие надписи;
• контактную тень;
• цвет материала;
• край маски;
• соответствие нового фона задаче.

Наложение исходника помогает обнаружить изменение формы товара. Если сам предмет должен остаться пиксельно неизменным, можно сгенерировать фон отдельно и совместить его с исходным предметом в редакторе.

Обычные и ускоренные версии

Дистиллированный вариант обучен проходить траекторию за меньшее число шагов. Его sampler, scheduler и guidance могут отличаться от базовой модели.

Ускорение меняет компромисс: иногда теряются мелкие детали, разнообразие или точность редкой инструкции. Поэтому настройки одного варианта не переносится на другой по совпадению бренда.

LoRA и дообучение

LoRA должна соответствовать архитектуре, поколению и целевым слоям. Адаптер от FLUX.1 не считается автоматически совместимым с другим поколением.

При обучении сохраняют:

• точную базовую модель и её ревизию;
• лицензию;
• разрешение обучающих изображений и подписи;
• ранг адаптера и выбранные слои;
• код обучения и версии зависимостей;
• набор независимых проверочных сцен.

FLUX в ComfyUI

ComfyUI поддерживает разные архитектуры через отдельные загрузчики и ноды. Схема FLUX может требовать нескольких файлов: трансформера, текстовых энкодеров, автоэнкодера и LoRA.

При переносе графа проверяются:

• поколение и вариант модели;
• формат и числовую точность весов;
• совместимые текстовые энкодеры и VAE;
• sampler, scheduler и guidance;
• лицензия custom nodes;
• пик памяти на нужном размере.

Встроенный Manager помогает установить нужное расширение, если оно требуется. Наличие пакета не заменяет проверку файлов моделей и прав на их использование.

Лицензия

Лицензия относится к конкретному выпуску. У API, открытых весов, dev-вариантов, базовых моделей и производных могут быть разные условия. Некоторые лицензии разрешают коммерческое использование изображений, но ограничивают коммерческий запуск самих весов или обучение конкурирующих моделей.

Перед проектом читают лицензию из репозитория точного файла и условия BFL для выбранного способа доступа. Для коммерческого сервиса на собственном сервере важно разрешение на такой запуск, а не только возможность скачать веса.

Память и производительность

Требования зависят от числа параметров, точности, квантизации, размера кадра, числа одновременных изображений и переноса части вычислений или весов из видеопамяти. Нельзя назначить одной видеокарте всё семейство FLUX.

При пробном запуске полезно записать:

• точные файлы и хеши;
• программу запуска и способ выполнения вычислений;
• размер кадра и число шагов;
• время первого запуска и повторной генерации после загрузки модели;
• пик памяти;
• качество на одинаковых seed.

Частые ошибки

• Считать FLUX.1 и FLUX.2 одной архитектурой. Поколения проверяются отдельно.
• Переносить LoRA между поколениями. Совпадение названия не даёт совместимости.
• Использовать dev в бизнесе по принципу «веса скачиваются». Право определяет лицензия.
• Считать настройки ускоренной версии универсальными. Guidance и scheduler могут отличаться.
• Доверять надписи без проверки. Генеративный текст остаётся вероятностным.
• Сравнивать скорость по чужой видеокарте. Важны вся схема и числовая точность.

Частые вопросы

Какой FLUX выбрать?

Сначала определить задачу и способ доступа: API, локальная генерация, редактирование или обучение. Затем сравнить совместимые варианты по качеству, стоимости и лицензии.

Можно ли использовать коммерчески?

Зависит от конкретного файла или API. Проверяется актуальная лицензия и, при необходимости, разрешение на коммерческий запуск на собственном сервере.

Почему LoRA не загружается?

Чаще всего не совпадают поколение, архитектура, имена слоёв или формат. Нужна карточка адаптера и точная базовая модель.

FLUX заменяет Stable Diffusion?

Это разные экосистемы с собственными весами моделей, адаптерами и требованиями. Выбор зависит от нужных инструментов, лицензии и существующих workflow.

Главное

FLUX — семейство моделей изображений на основе трансформеров. Для генерации, редактирования и обучения нужны подходящие версии и компоненты. Сохранённые файлы, настройки и контрольные примеры помогают повторить результат и понять, что изменилось после обновления.

Описание способов доступа есть в документации Black Forest Labs, а код и ссылки на модели первого семейства — в официальном репозитории FLUX.1.