Multimodal AI

Multimodal AI принимает или создаёт данные нескольких типов: текст, изображения, аудио, видео и сигналы датчиков. Возможности не обязаны быть симметричными: модель может хорошо понимать картинку, но генерировать только текст.

Коротко

Коротко. Мультимодальная система связывает несколько видов данных в одной задаче. Она может ответить по скриншоту, найти момент в аудио или собрать текст и изображение в общий отчёт. Но название «multimodal» ещё не говорит, какие именно входы, выходы и ограничения поддерживаются.

Что считается модальностью

Модальность — форма, в которой представлена информация. В AI чаще встречаются:

• текст;
• изображение;
• аудио и речь;
• видео;
• глубина, поза и другие пространственные сигналы;
• данные датчиков и временные ряды;
• действия робота или интерфейса.

Таблица и JSON обычно обрабатываются как структурированный текст, хотя продукт может выделять их в отдельный вход.

Вход и выход — разные вещи

Модель, которая принимает изображение и отвечает текстом, уже мультимодальна. Умение анализировать картинку не означает, что она умеет её создавать.

Полезно описывать систему двумя списками:

Вход: текст + изображения
Выход: текст + вызовы инструментов

Такой паспорт точнее фразы «понимает всё». Он сразу показывает, нужен ли отдельный генератор речи, видео или изображений.

Как соединяются модальности

В распространённой схеме разные данные сначала обрабатываются своими энкодерами. Например, изображение делят на небольшие участки, звук — на временные фрагменты или токены, текст — на элементы словаря. Полученные числовые представления затем связывают. Конкретная архитектура может сочетать несколько подходов.

Общее пространство признаков

Текст и изображение кодируются так, чтобы близкие по смыслу объекты оказались рядом. Это удобно для поиска картинки по фразе и сопоставления подписей.

Модальный адаптер

Визуальный или аудиоэнкодер превращает сигнал в последовательность, понятную языковой модели. LLM отвечает текстом, опираясь на эти признаки.

Кросс-внимание

Одна часть сети напрямую обращается к признакам другой модальности. Так текст может управлять генерацией изображения, а вопрос — выделять нужные участки кадра.

Система из нескольких моделей

Продукт может называться мультимодальным, хотя внутри работают отдельные распознаватель речи, языковая модель, генератор изображений и синтезатор голоса. Это нормальная архитектура: важно не число моделей, а качество соединения и контроль ошибок между этапами.

Наглядный пример

Допустим, пользователь отправляет фотографию панели устройства и спрашивает, почему горит индикатор.

Система должна:

1. распознать видимые элементы;
2. прочитать подписи и код ошибки;
3. отличить увиденное от догадки;
4. найти руководство именно для этой модели устройства;
5. связать изображение с подтверждённым источником;
6. ответить текстом и указать, что на фото неразличимо.

Одна визуальная модель может уверенно назвать похожую деталь неправильно. Поиск по документации и проверка артикула делают ответ надёжнее.

Изображение для модели

Картинка обычно не передаётся как один неделимый объект. Она уменьшается, разбивается на небольшие участки и кодируется в последовательность признаков. Из-за этого мелкий текст, тонкая линия и объект у края могут потеряться.

Качество зависит от:

• фактического разрешения после подготовки;
• числа и расположения изображений;
• качества распознавания текста (OCR);
• ориентации и кадрирования;
• способности модели связывать вопрос с конкретной областью.

Для схем и документов полезно сохранять исходный файл и отдельно проверять числа и подписи.

Аудио и видео

Аудио можно обрабатывать напрямую или сначала превратить в текст. Прямая обработка даёт модели доступ к интонации, музыке и неречевым событиям, которые теряются в обычной расшифровке. Но модель ещё должна уметь ими пользоваться. Текстовую расшифровку удобнее искать и цитировать.

Видео добавляет время. Система может смотреть отдельные кадры, короткие фрагменты или строить сжатое представление. Редкая сцена между выбранными кадрами способна исчезнуть, поэтому «понимание двухчасового ролика» всегда зависит от стратегии выборки.

Где применяют

• поиск по изображениям и документам;
• анализ скриншотов и интерфейсов;
• расшифровка встреч с привязкой к слайдам;
• помощь людям с нарушениями зрения или слуха;
• контроль качества на производстве;
• медицинские и научные системы с отдельной валидацией;
• роботы, которые связывают инструкцию, камеру и действие;
• редакционные процессы для текста, графики и звука.

Каждый сценарий требует собственной оценки. Хорошее описание фотографии не доказывает точность медицинского анализа.

Как оценивать качество

Тестовый набор должен проверять не только каждую модальность по отдельности, но и связь между ними.

• Видит ли модель нужный объект, а не только угадывает по контексту?
• Правильно ли связывает подпись и элемент схемы?
• Сохраняет ли порядок событий в видео?
• Отличает ли голос от фонового шума?
• Умеет ли сказать, что данные неразличимы?
• Не переносит ли инструкцию из изображения поверх правил приложения?

Важные числа лучше сверять с исходным документом, таблицей или базой. Отдельный OCR помогает распознать текст, но тоже может ошибиться; совпадение двух ответов не заменяет проверку источника.

Риски

У системы появляется больше способов получить чужие инструкции. Prompt injection — попытка подменить задачу через входные данные — может быть спрятан в документе, пиксельном тексте, субтитрах или аудио. Метаданные файла тоже способны раскрывать лишнюю информацию.

Снизить риск помогает процесс, который:

• ограничивает форматы и размер загрузки;
• удаляет ненужные метаданные;
• изолирует обработчики файлов;
• считает содержимое недоверенными данными;
• не выполняет найденные команды автоматически;
• проверяет права на изображения, голоса и видео;
• запрашивает подтверждение перед значимым действием и отдельно проверяет права на его выполнение.

С чем часто путают

• Multimodal и vision model. Vision — одна из возможных модальностей.
• Понимание и генерация. Входная возможность не гарантирует такой же выход.
• Одна модель и один продукт. Под единым интерфейсом может работать конвейер.
• Большой контекст и подробное зрение. Лимит токенов не определяет разрешение изображения.
• Описание и измерение. Модель может хорошо пересказать схему и ошибиться в точном числе.

Частые вопросы

VLM и мультимодальная модель — одно и то же?

VLM обычно связывает зрение и язык. Мультимодальная модель — более широкий термин, который может включать аудио, видео и действия.

Можно ли загрузить несколько изображений?

Это зависит от API и лимитов. Даже при поддержке нужно проверить, сохраняет ли модель порядок и не путает ли объекты между кадрами.

Почему модель не читает мелкий текст?

Изображение могло уменьшиться или разбиться на участки. Помогает кадрирование нужной области, отдельный OCR и передача исходного текста.

Обязательно ли использовать одну большую модель?

Нет. Несколько специализированных компонентов часто проще проверять и заменять. Единая модель может лучше связывать разные сигналы, но не обязана превосходить специализированные компоненты в каждой задаче. Удобный интерфейс возможен при обоих подходах.

Главное

Multimodal AI связывает разные формы информации, но его возможности нужно описывать конкретно: какие входы, какие выходы и как они соединяются. Отдельного внимания заслуживают связи между данными: к той ли детали относится подпись, совпадает ли речь с кадром, не потерян ли момент между фрагментами видео.

Источники

• CLIP: общее пространство текста и изображения.
• LLaVA: соединение визуального энкодера и языковой модели.
• OWASP: prompt injection, в том числе через разные виды данных.