Системный промпт и история: как модель «видит» разговор и почему длинный чат деградирует?

Junior PRO

Суть

Чат с моделью выглядит как разговор, но модель не «помнит» прошлые сообщения. При каждом запросе ей заново отправляют весь текст: системный промпт, всю историю диалога и ваше новое сообщение. Модель читает этот документ целиком и пишет продолжение. Всё, что вы видите как «память», — это просто растущий документ.

Отсюда два практических следствия: каждое новое сообщение в длинном чате стоит дороже, и чем длиннее документ, тем хуже модель удерживает в нём важное.