Как LLM генерирует текст: токены, внимание, температура

Middle PRO

Суть

LLM генерирует текст по одному токену за раз. На каждом шаге модель смотрит на весь предыдущий текст, вычисляет вероятность каждого токена из своего словаря и выбирает один. Выбранный токен дописывается в конец, и цикл повторяется. Явного «плана ответа» нет: длинный связный ответ — результат тысяч таких шагов.

токены → эмбеддинги → [внимание → MLP] × N слоёв → логиты → вероятности → выбор токена
                                                                               ↓
                                                            дописываем ко входу и повторяем