Multimodal AI

Multimodal AI принимает или создаёт данные нескольких типов: текст, изображения, аудио, видео и сигналы датчиков. Возможности не обязаны быть симметричными: модель может хорошо понимать картинку, но генерировать только текст.

Коротко

Мультимодальная система связывает несколько видов данных в одной задаче. Она может ответить по скриншоту, найти момент в аудио или собрать текст и изображение в общий отчёт. Но название «multimodal» ещё не говорит, какие именно входы, выходы и ограничения поддерживаются.

Что считается модальностью

Модальность — форма, в которой представлена информация. В AI чаще встречаются:

• текст;
• изображение;
• аудио и речь;
• видео;
• глубина, поза и другие пространственные сигналы;
• данные датчиков и временные ряды;
• действия робота или интерфейса.

Таблица и JSON обычно обрабатываются как структурированный текст, хотя продукт может выделять их в отдельный вход.

Вход и выход — разные вещи

Модель, которая принимает изображение и отвечает текстом, уже мультимодальна. Умение анализировать картинку не означает, что она умеет её создавать.

Полезно описывать систему двумя списками:

Вход: текст + изображения
Выход: текст + вызовы инструментов

Такой паспорт точнее фразы «понимает всё». Он сразу показывает, нужен ли отдельный генератор речи, видео или изображений.

Как соединяются модальности

В распространённой схеме разные данные сначала обрабатываются своими энкодерами. Например, изображение делят на небольшие участки, звук — на временные фрагменты или токены, текст — на элементы словаря. Полученные числовые представления затем связывают. Конкретная архитектура может сочетать несколько подходов.

Общее пространство признаков

Текст и изображение кодируются так, чтобы близкие по смыслу объекты оказались рядом. Это удобно для поиска картинки по фразе и сопоставления подписей.

Модальный адаптер

Визуальный или аудиоэнкодер превращает сигнал в последовательность, понятную языковой модели. LLM отвечает текстом, опираясь на эти признаки.

Кросс-внимание

Одна часть сети напрямую обращается к признакам другой модальности. Так текст может управлять генерацией изображения, а вопрос — выделять нужные участки кадра.

Система из нескольких моделей

Продукт может называться мультимодальным, хотя внутри работают отдельные распознаватель речи, языковая модель, генератор изображений и синтезатор голоса. Это нормальная архитектура: важно не число моделей, а качество соединения и контроль ошибок между этапами.

Наглядный пример

Допустим, пользователь отправляет фотографию панели устройства и спрашивает, почему горит индикатор.

Система должна:

1. распознать видимые элементы;
2. прочитать подписи и код ошибки;
3. отличить увиденное от догадки;
4. найти руководство именно для этой модели устройства;
5. связать изображение с подтверждённым источником;
6. ответить текстом и указать, что на фото неразличимо.

Одна визуальная модель может уверенно назвать похожую деталь неправильно. Поиск по документации и проверка артикула делают ответ надёжнее.

Изображение для модели

Картинка обычно не передаётся как один неделимый объект. Она уменьшается, разбивается на небольшие участки и кодируется в последовательность признаков. Из-за этого мелкий текст, тонкая линия и объект у края могут потеряться.

Качество зависит от:

• фактического разрешения после подготовки;
• числа и расположения изображений;
• качества распознавания текста (OCR);
• ориентации и кадрирования;
• способности модели связывать вопрос с конкретной областью.

Для схем и документов полезно сохранять исходный файл и отдельно проверять числа и подписи.

Аудио и видео

Аудио можно обрабатывать напрямую или сначала превратить в текст. Прямая обработка даёт модели доступ к интонации, музыке и неречевым событиям, которые теряются в обычной расшифровке. Но модель ещё должна уметь ими пользоваться. Текстовую расшифровку удобнее искать и цитировать.

У видео важен ещё и порядок событий. Система может смотреть отдельные кадры, короткие фрагменты или строить сжатое представление. Редкая сцена между выбранными кадрами способна исчезнуть, поэтому «понимание двухчасового ролика» всегда зависит от стратегии выборки.

В генерации несколько входов могут выполнять разные роли: картинка задаёт внешность, видео — движение, звук — голос. Такой случай подробно показан в разборе Reference-режима MiniMax H3; статья о LTX объясняет другой подход — совместное создание видео и аудио с задачными адаптерами.

Где применяют

• поиск по изображениям и документам;
• анализ скриншотов и интерфейсов;
• расшифровка встреч с привязкой к слайдам;
• помощь людям с нарушениями зрения или слуха;
• контроль качества на производстве;
• медицинские и научные системы с отдельной валидацией;
• роботы, которые связывают инструкцию, камеру и действие;
• редакционные процессы для текста, графики и звука.

Каждый сценарий требует собственной оценки. Хорошее описание фотографии не доказывает точность медицинского анализа. А связь изображения с физическим действием — отдельная задача, описанная в статье о VLA-моделях.

Если несколько моделей объединены в творческий процесс, ComfyUI помогает видеть входы и переходы между этапами. Основы такого графа разбирает раздел ComfyUI на TimeSaver VFX. Поддержку каждого типа файлов и каждого внешнего API проверяют отдельно.

Как оценивать качество

Тестовый набор должен проверять не только каждую модальность по отдельности, но и связь между ними.

• Видит ли модель нужный объект, а не только угадывает по контексту?
• Правильно ли связывает подпись и элемент схемы?
• Сохраняет ли порядок событий в видео?
• Отличает ли голос от фонового шума?
• Умеет ли сказать, что данные неразличимы?
• Не переносит ли инструкцию из изображения поверх правил приложения?

Важные числа лучше сверять с исходным документом, таблицей или базой. Отдельный OCR помогает распознать текст, но тоже может ошибиться; совпадение двух ответов не заменяет проверку источника.

Риски

У системы появляется больше способов получить чужие инструкции. Попытка подменить задачу через входные данные — prompt injection — может быть спрятана в документе, надписи на изображении, субтитрах или аудио. Метаданные файла тоже способны раскрывать лишнюю информацию.

Снизить риск помогает процесс, который:

• ограничивает форматы и размер загрузки;
• удаляет ненужные метаданные;
• изолирует обработчики файлов;
• считает содержимое недоверенными данными;
• не выполняет найденные команды автоматически;
• проверяет права на изображения, голоса и видео;
• запрашивает подтверждение перед значимым действием и отдельно проверяет права на его выполнение.

С чем часто путают

• Multimodal и vision model. Vision — одна из возможных модальностей.
• Понимание и генерация. Входная возможность не гарантирует такой же выход.
• Одна модель и один продукт. Под единым интерфейсом может работать конвейер.
• Большой контекст и подробное зрение. Лимит токенов не определяет разрешение изображения.
• Описание и измерение. Модель может хорошо пересказать схему и ошибиться в точном числе.

Частые вопросы

VLM и мультимодальная модель — одно и то же?

VLM обычно связывает зрение и язык. Мультимодальная модель — более широкий термин, который может включать аудио, видео и действия.

Можно ли загрузить несколько изображений?

Это зависит от API и лимитов. Даже при поддержке нужно проверить, сохраняет ли модель порядок и не путает ли объекты между кадрами.

Почему модель не читает мелкий текст?

Изображение могло уменьшиться или разбиться на участки. Помогает кадрирование нужной области, отдельный OCR и передача исходного текста.

Обязательно ли использовать одну большую модель?

Нет. Несколько специализированных компонентов часто проще проверять и заменять. Единая модель может лучше связывать разные сигналы, но не обязана превосходить специализированные компоненты в каждой задаче. Удобный интерфейс возможен при обоих подходах.

Главное

Multimodal AI связывает разные формы информации, но его возможности нужно описывать конкретно: какие входы, какие выходы и как они соединяются. Отдельного внимания заслуживают связи между данными: к той ли детали относится подпись, совпадает ли речь с кадром, не потерян ли момент между фрагментами видео.

Источники

• CLIP: общее пространство текста и изображения.
• LLaVA: соединение визуального энкодера и языковой модели.
• OWASP: prompt injection, в том числе через разные виды данных.