Популярні ШІ-моделі помиляються у понад половині відповідей на запитання про особисті фінанси. У складніших завданнях із кількома розрахунками частка неправильних відповідей сягає 88%, свідчить дослідження технологічної компанії Saturn.
Складні фінансові завдання
Saturn перевірила безплатні та платні версії популярних ШІ-моделей за допомогою понад 100 різних запитань про особисті фінанси. Кожне запитання повторювали до п’яти разів. Загалом дослідники поставили понад 10 тисяч запитань 18 різним моделям.
У середньому неправильними були 57% відповідей. Для складніших завдань, які передбачали більше одного розрахунку, частка помилок зросла до 88%. Окремі моделі неправильно відповідали на 99% таких складних запитань.
Серед виявлених проблем були помилки в розрахунках, пропущені майбутні зміни податкових правил та вигадані правила.
За даними дослідження, одна з помилок Claude Haiku 4.5 щодо оподаткування пенсій могла призвести до нарахування £17 500 податку від британської податкової служби HMRC.
В іншому випадку Claude відповіла на запитання про студентські кредити та «вигадала правило». Модель стверджувала, що випускник може припинити виплати після переїзду за кордон.
«Мільйони людей довіряють ШІ-моделям питання про гроші, але отримують неправильні відповіді», — сказав Амал Джоллі, генеральний директор Saturn.
Які моделі показали кращі результати
Платні моделі в дослідженні відповідали точніше за безплатні. Новіші моделі також показали кращі результати порівняно зі старішими.
Найкращий результат серед протестованих систем продемонструвала Claude Opus 5 у режимі reasoning. Водночас навіть вона помилялася у 39% відповідей.
Сара Коулз, керівниця напряму особистих фінансів інвестиційної платформи AJ Bell, зазначила, що фінансові консультанти вже стикаються з наслідками рекомендацій ШІ.
Водночас вона вважає, що чатботи можуть бути корисними для планування бюджету та попереднього дослідження. Наприклад, вони можуть допомогти визначити можливі надмірні витрати на основі доходів і видатків користувача.
Фінансові поради ШІ залишаються нерегульованими
Дослідження Saturn з’явилося після того, як Financial Conduct Authority оцінило ставлення британців до використання ШІ у фінансових питаннях. За даними FCA, кожен п’ятий дорослий у Великій Британії готовий дозволити ШІ ухвалювати рішення за нього.
Найбільший інтерес до такого використання технології спостерігається у складних фінансових питаннях, зокрема щодо боргів, пенсій та інвестицій.
Молоді інвестори також частіше довіряють ШІ, ніж фінансовим інфлюенсерам або телевізійним програмам. Дві третини очікують, що використовуватимуть ШІ частіше протягом наступного року.
За словами Амала Джоллі, фінансові поради від ШІ наразі не регулюються. Через це користувачі не отримують захисту та можливості компенсації, доступних при зверненні до фінансового консультанта.
«Фінансові поради ШІ наразі не регулюються, тому споживачі не мають жодного захисту, включно з компенсацією, який вони отримали б при зверненні до консультанта-людини», — сказав він.
Він додав, що FCA вже розглядає це питання, однак, на його думку, регулятору потрібно діяти швидше.
