Токены и контекстное окно: как считаются и что будет при переполнении
Суть
Токен — единица, в которой модель читает и пишет текст, а провайдер считает деньги и лимиты. Контекстное окно — максимальное число токенов, которое модель учитывает за один запрос. В него входит всё: системный промпт, вся история диалога, вложенные файлы и картинки, описания инструментов и сам ответ модели.
Продолжение ответа с кодом и уточняющими вопросами интервьюера — в приложении DevPrep.
Полный ответ — в DevPrep