Исследование Saturn: ИИ ошибается в 57% финансовых ответов
Исследование Saturn: ИИ ошибается в 57% финансовых ответов
Популярные ИИ-чат-боты регулярно допускают ошибки при ответах на финансовые вопросы. К такому выводу пришла технологическая компания Saturn, протестировавшая ChatGPT, Claude, Copilot, Grok и Gemini. В среднем модели давали неверный ответ в 57% случаев, а для сложных вопросов с несколькими расчётами показатель вырос до 88%.
Более 10 тысяч запросов к 18 моделям
В исследовании использовались бесплатные и платные версии различных ИИ-моделей. Всего 18 моделей получили более 10 тысяч финансовых запросов, причём каждый вопрос мог отправляться системе до пяти раз.
Исследователи проверяли сценарии, связанные с налогами, пенсиями, инвестициями и другими финансовыми решениями. Среди обнаруженных проблем оказались ошибки в вычислениях, игнорирование будущих изменений налогового законодательства и выдуманные финансовые правила.
В сложных вопросах ошибки доходили до 99%
Наиболее проблемными оказались запросы, требующие сразу нескольких вычислений и последовательного анализа. У некоторых моделей доля ошибочных ответов в таких сценариях достигала 99%.
Даже лучший результат в исследовании не означал высокой надёжности. Claude Opus 5 в режиме рассуждения ошибался в 39% проверенных случаев. При этом платные версии моделей в целом показывали более высокую точность, чем бесплатные, а более новые модели также демонстрировали лучшие результаты.
Ошибка может стоить пользователю тысячи долларов
В исследовании приводится пример с бесплатной версией Claude Haiku 4.5. Ошибка при ответе на вопрос о налогообложении пенсионных накоплений потенциально могла привести к дополнительному платежу в HMRC в размере £17 500.
В другом случае Claude сформулировал несуществующее правило о студенческих кредитах и заявил, что выпускник может прекратить выплаты после переезда за границу.
ИИ может помогать, но финансовые решения требуют проверки
Исследование не означает, что ИИ бесполезен для финансовых задач. Его можно использовать для составления бюджета, поиска информации и предварительного анализа. Однако ошибки становятся особенно существенными там, где ответ зависит от налоговых правил, пенсионного законодательства или нескольких финансовых расчётов.
Дополнительный риск связан с растущим использованием ИИ для принятия денежных решений. По данным исследования, приведённым Incrypted со ссылкой на Financial Conduct Authority, каждый пятый взрослый в Великобритании готов доверить ИИ финансовое решение. Наибольший интерес наблюдается в таких сложных областях, как долги, пенсии и инвестиции.
При этом другие исследования показывают, что качество финансовых рекомендаций ИИ зависит не только от самой модели, но и от формулировки запроса. Например, исследование Stanford GSB выявило различия в качестве рекомендаций в зависимости от финансовой грамотности и того, насколько подробно пользователь описывает свою ситуацию.
Таким образом, генеративный ИИ уже способен помогать с финансовой информацией, но результаты исследования Saturn показывают, что его ответы по вопросам денег нельзя автоматически воспринимать как проверенную финансовую рекомендацию.