Глоссарий
Мультимодальность: текст, картинки, аудио в одном контексте
Коротко: Мультимодальность это способность модели работать с несколькими типами данных в одном контексте: текст, изображения, скриншоты, аудио. На практике это показывать модели снимок экрана и спрашивать, что на нём сломано, или искать по коллекции изображений текстовым запросом через общее векторное пространство. Потолок у каждой модели свой: распознавание мелкого текста, сопоставление картинке запроса и поиск по большой коллекции проверяются на своих данных, паспортные цифры не гарантия.
Для агентов мультимодальность открыла класс задач, который раньше требовал отдельного OCR-конвейера: скриншот приложения, фото документа, снимок графика. Вместо цепочки распознавание плюс запрос картинка идёт в модель целиком, и часть ошибок конвейера исчезает вместе с конвейером.
Обратная сторона: те же картинки ломают экономию контекста. Один скриншот стоит заметного числа токенов, и без дисциплины по размеру и количеству изображений контекст агента растёт быстрее, чем полезная нагрузка.