Как оценивать качество ответов ИИ: компилятор, тесты, сравнение моделей, свой eval-набор

Senior PRO

Суть

«Ответ выглядит убедительно» — не критерий качества. Модели пишут уверенно и гладко независимо от того, правы они или нет. Качество нужно проверять так же, как любой код: автоматически, где возможно, и по явным критериям, где нет. А чтобы сравнивать модели, промпты и навыки не на ощущениях, нужен свой небольшой набор задач — eval-набор.