AI-словарь · Мультимодальные модели
Мультимодальные модели
Мультимодальные модели связывают текст, изображение, звук, видео и действия в одной системе. Здесь собраны понятия о том, как модель сопоставляет разные виды данных, что умеют vision-language-action системы и зачем нужны модели мира.
Указатель
-
01
VLA Vision-Language-Action
Vision-Language-Action-модель получает изображение или видео и текстовую задачу, затем предсказывает действия робота. Вместо жёсткого сценария «увидел метку — выполнил одну команду» она учится связывать предметы, язык…
-
02
World Models World Model
Мировая модель хранит внутреннее представление среды и предсказывает её следующее состояние. Она помогает агенту представить последствия действия до того, как оно произойдёт в реальности. Такие модели…
