Почему счёт в чате ломается

Когда вы просите модель посчитать по вставленным данным, ломается сразу несколько вещей. По отдельности каждая уже опасна, вместе - гарантируют ошибку рано или поздно.

Недетерминизм: разный ответ на один вопрос

Задайте один и тот же вопрос по одной и той же таблице дважды - и получите два разных числа. Модель не вычисляет, а генерирует текст с элементом случайности, поэтому воспроизводимости нет.

Калькулятор на 2 + 2 всегда даёт 4. Модель на «посчитай сумму» может дать 4, потом 4.2, потом «примерно 4». Для аналитики это неприемлемо.

Подробнее про то, почему ответы «плавают» и что такое температура - в курсе Галлюцинации и параметры моделей.

Галлюцинации чисел

Модель заполняет пробел самым правдоподобным значением. Если она «не видит» точного числа, она не молчит - она выдаёт похожее на правду. Получается красивая, уверенная и неправильная цифра.

Теряет строки

Даже если данные целиком попали в чат, нет гарантии, что модель учла каждую строку. Она может пропустить часть, посчитать не все категории, «склеить» похожие. Вы этого не увидите - ответ придёт цельный и уверенный.

Ограничение контекста на больших данных

У модели есть предел объёма текста, который она удерживает за раз (контекстное окно). Таблица на тысячи строк или большой CSV туда просто не влезет целиком. Часть данных обрежется, а модель всё равно ответит - по тому куску, что уместился.

Вывод простой: считать в чате нельзя. В следующем разделе - как делать правильно.