FLUX

FLUX — семейство генеративных моделей Black Forest Labs для создания и редактирования изображений. В нём есть облачные и self-hosted варианты, базовые модели и ускоренные версии. Архитектура, входы и лицензия различаются между поколениями, поэтому проверяется точный артефакт.

Коротко

Коротко. FLUX — не одна модель, а развивающееся семейство для text-to-image и редактирования. Одни варианты доступны через API, другие публикуются как веса, третьи оптимизированы для малого числа шагов. Слова dev, schnell, pro, base и номер поколения имеют значение.

Откуда появилось семейство

Black Forest Labs основали исследователи с опытом работы над генеративными моделями изображений. Первая линейка FLUX.1 стала известна как transformer-based альтернатива классическим U-Net моделям Stable Diffusion. Позже семейство расширилось, поэтому описание одного поколения нельзя переносить на все последующие.

Историческая дата релиза полезна для понимания, но рабочий проект должен опираться на карточку текущего checkpoint или endpoint.

Что различается между вариантами

• Способ доступа: API или скачиваемые веса.
• Назначение: генерация с нуля, редактирование, работа с референсами или базовая модель для обучения.
• Скорость: обычная траектория или дистиллированный режим.
• Размер и precision: они определяют память и совместимый runtime.
• Лицензия: открытая, non-commercial, self-hosted commercial или условия API.
• Управление: поддержка изображений, масок, ControlNet-подобных условий и LoRA.

Название FLUX без этих уточнений не подходит для воспроизводимого workflow.

Как устроена генерация

Модели семейства используют transformer-блоки для обработки текстовых и визуальных представлений и методы семейства flow matching или rectified flow для пути от шума к данным. Точная схема зависит от поколения.

Упрощённый pipeline:

1. Текст кодируется одним или несколькими энкодерами.
2. Начальный latent создаётся из шума либо из входного изображения.
3. Transformer оценивает направление обновления с учётом текста и других условий.
4. Sampler проходит по расписанию уровней шума.
5. Autoencoder декодирует latent в изображение.

Число latent-каналов, способ упаковки patches и текстовые энкодеры берутся из конфигурации точной модели.

Prompt и текст внутри изображения

FLUX часто выбирают за хорошее следование подробной инструкции и более уверенную работу с короткими надписями. Это не гарантия корректной типографики.

Точный русский текст, логотип, таблица и юридическая подпись по-прежнему надёжнее добавляются после генерации кодом или редактором. Если надпись создаёт модель, она проходит OCR и ручную проверку.

Редактирование и референсы

Часть моделей принимает исходное изображение, маску или несколько визуальных референсов. Они могут менять объект, сохранять композицию или переносить признаки между кадрами.

Качество оценивается по двум независимым осям:

• выполнилась ли инструкция;
• сохранились ли области, которые менять не просили.

Впечатляющий новый объект не компенсирует случайно изменившееся лицо, товар или текст на упаковке.

Наглядный пример

Дизайнеру нужно заменить фон предметной фотографии и сохранить сам товар.

Он выбирает вариант FLUX с image editing, задаёт точную область изменения и создаёт несколько кандидатов. Затем сравнивает:

• геометрию товара с исходником;
• логотип и мелкие надписи;
• контактную тень;
• цвет материала;
• край маски;
• соответствие нового фона задаче.

Если идентичность товара критична, окончательная проверка делается наложением исходника, а не только взглядом на красивый результат.

Обычные и ускоренные версии

Дистиллированный вариант обучен проходить траекторию за меньшее число шагов. Его sampler, scheduler и guidance могут отличаться от базовой модели.

Ускорение меняет компромисс: иногда теряются мелкие детали, разнообразие или точность редкой инструкции. Поэтому preset одного варианта не переносится на другой по совпадению бренда.

LoRA и дообучение

LoRA должна соответствовать архитектуре, поколению и целевым слоям. Адаптер от FLUX.1 не считается автоматически совместимым с другим поколением.

При обучении сохраняют:

• точную основу и revision;
• лицензию;
• разрешение и captions;
• rank и целевые слои;
• training code и версии;
• набор независимых проверочных сцен.

FLUX в ComfyUI

ComfyUI поддерживает разные архитектуры через отдельные загрузчики и ноды. Для FLUX workflow может включать несколько файлов: transformer, text encoders, autoencoder и LoRA.

При переносе графа проверяются:

• поколение и вариант модели;
• формат и precision весов;
• совместимые text encoders и VAE;
• sampler, scheduler и guidance;
• лицензия custom nodes;
• пик памяти на нужном размере.

Встроенный Manager помогает установить расширение, но не скачивает автоматически все права и совместимые веса.

Лицензия

У семейства нет одной вечной лицензии. У API, открытых весов, dev-вариантов, базовых моделей и производных могут быть разные условия. Некоторые лицензии разрешают коммерческое использование outputs, но ограничивают production-использование самих весов или обучение конкурирующих моделей.

Перед проектом читают лицензию из репозитория точного файла и условия BFL для выбранного способа доступа. Если нужен self-hosted коммерческий сервис, проверяется отдельное разрешение, а не только возможность скачать checkpoint.

Память и производительность

Требования зависят от числа параметров, precision, quantization, размера кадра, batch и offload. Нельзя назначить одной видеокарте всё семейство FLUX.

Пробный benchmark фиксирует:

• точные файлы и хеши;
• runtime и backend;
• размер и steps;
• cold и warm запуск;
• пик памяти;
• качество на одинаковых seed.

Частые ошибки

• Считать FLUX.1 и FLUX.2 одной архитектурой. Поколения проверяются отдельно.
• Переносить LoRA между поколениями. Совпадение названия не даёт совместимости.
• Использовать dev в бизнесе по принципу «веса скачиваются». Право определяет лицензия.
• Считать accelerated preset универсальным. Guidance и scheduler могут отличаться.
• Доверять надписи без проверки. Генеративный текст остаётся вероятностным.
• Сравнивать скорость по чужой видеокарте. Важны весь workflow и precision.

Частые вопросы

Какой FLUX выбрать?

Сначала определить задачу и способ доступа: API, локальная генерация, редактирование или обучение. Затем сравнить совместимые варианты по качеству, стоимости и лицензии.

Можно ли использовать коммерчески?

Зависит от конкретного файла или API. Проверяется актуальная лицензия и, при необходимости, self-hosted commercial agreement.

Почему LoRA не загружается?

Чаще всего не совпадают поколение, архитектура, имена слоёв или формат. Нужна карточка адаптера и точная базовая модель.

FLUX заменяет Stable Diffusion?

Это разные экосистемы с собственными checkpoints, адаптерами и требованиями. Выбор зависит от нужных инструментов, лицензии и существующих workflow.

Главное

FLUX — семейство transformer-based моделей изображений, которое развивается по поколениям. Долговечный workflow фиксирует не бренд, а точный checkpoint, компоненты, лицензию и параметры. Тогда обновление можно оценить, а не принимать на веру по новому номеру.