AI-словарь · Адаптеры

Адаптеры

Адаптеры — небольшие надстройки, которые меняют поведение базовой модели без полного переобучения: LoRA добавляет стиль или персонажа, ControlNet задаёт позу и композицию, IP-Adapter переносит образ с готовой картинки. Раздел о том, как управлять генерацией точечно и предсказуемо.

Указатель

  1. 01
    Tile / Tiling

    Tile называют сразу несколько разных приёмов: обработку большого изображения перекрывающимися фрагментами, тайловый денойзинг, tiled VAE для снижения пиковой нагрузки на память и генерацию бесшовных текстур. Общая…

    Средний
  2. 02
    Segmentation Map

    Segmentation Map делит изображение на области и хранит для каждого пикселя метку класса или экземпляра объекта. В генеративном конвейере такая карта задаёт смысловую раскладку сцены, но…

    Средний
  3. 03
    Canny Edge

    Canny Edge — алгоритм извлечения контуров изображения, изобретённый Джоном Канни в 1986-м. В Stable Diffusion через ControlNet Canny используется как «обводка», на которой модель строит новую…

    Средний
  4. 04
    Depth Map

    Depth Map кодирует глубину сцены: какие поверхности находятся ближе, а какие дальше. Такая карта помогает генеративной модели сохранить расстановку и перспективу, даже если материалы, свет и…

    Средний
  5. 05
    OpenPose

    OpenPose оценивает положение ключевых точек тела, лица и кистей на изображении. В генерации такую карту можно передать совместимому ControlNet, чтобы задать позу нового персонажа. Детектор строит…

    Средний
  6. 06
    DreamBooth

    DreamBooth — рецепт персонализации text-to-image модели по нескольким изображениям конкретного объекта. Во время обучения редкий идентификатор связывается с его внешностью, а примеры общего класса помогают не…

    Средний
  7. 07
    Hypernetwork

    Hypernetwork в генерации изображений — отдельный обучаемый модуль, который влияет на работу attention — механизма внимания. В загрузчике ComfyUI он добавляет обученную поправку к ключам и…

    Средний
  8. 08
    Textual Inversion TI

    Textual Inversion учит новое текстовое представление концепта по примерам, сохраняя остальные веса генеративной модели замороженными. Полученный embedding загружается в совместимый текстовый энкодер и вызывается своей меткой…

    Средний
  9. 09
    IP-Adapter Image Prompt Adapter

    IP-Adapter добавляет к текстовому промпту визуальное условие. Визуальный энкодер превращает референс в признаки, а отдельная ветка внимания передаёт их диффузионной модели рядом с текстовыми признаками. Базовая…

    Средний
  10. 10
    ControlNet

    ControlNet — техника управления композицией в диффузионных моделях через зрительную подсказку: скелет позы (OpenPose), контур (Canny), карту глубины (Depth), набросок (Lineart). Промпт задаёт «что нарисовать», ControlNet…

    Средний