Мультимодальность: картинки, скриншоты и аудио — что можно отдавать модели?
Суть
Мультимодальная модель принимает на вход не только текст, но и другие типы данных: изображения, PDF, аудио, видео. Внутри всё сводится к тем же токенам: картинка режется на небольшие квадраты-патчи, каждый патч превращается в вектор, и трансформер обрабатывает их вместе с текстовыми токенами. Поэтому изображения тоже расходуют контекстное окно и стоят денег.
Продолжение ответа с кодом и уточняющими вопросами интервьюера — в приложении DevPrep.
Полный ответ — в DevPrep