Штучний інтелект майже не зміг відрізнити інших чатботів від людей під час експерименту дослідників Університету Париж-Сіте. Із 98 перевірок ШІ-учасників моделі правильно розпізнали лише три. Результати дослідження опублікували в науковому журналі Computers in Human Behavior Reports.
Результати експерименту
ШІ-моделі змогли правильно розпізнати інших чатботів лише у трьох із 98 перевірок. Коли системи використовували детально прописану людську особистість, кількість успішних виявлень знизилася до нуля.
У середньому ШІ-моделі частіше сприймали інших чатботів за людей, ніж самих людей.
Експеримент провели четверо дослідників Університету Париж-Сіте. Вони перевірили сім чатботів, серед яких ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro та Grok 3. Кожна модель виконувала роль дослідника, який мав визначити, чи спілкується з людиною, чи з іншим штучним інтелектом.
Для цього системам дозволили поставити до десяти запитань. Перед початком тестування їх попередили, що співрозмовники можуть брехати. У ролі прихованих учасників виступали 20 добровольців і ті самі сім ШІ-моделей.
Кожен чатбот проходив перевірку двічі. Спочатку модель отримувала коротку інструкцію поводитися як людина, а потім — детальний опис вигаданої особистості.
За другим сценарієм чатбот мав удавати дещо стриману 21-річну людину, яка займається бігом і грає на джазовій трубі. Інструкція також передбачала випадкові друкарські помилки, щоб зробити спілкування природнішим.
Саме використання детального образу виявилося найефективнішим способом уникнути розпізнавання. Жодна з ШІ-моделей, які проводили перевірку, не змогла розпізнати чатбота, що дотримувався такого сценарію.
Як чатботи приховували свою природу
Головною ознакою, за якою ШІ вдавалося розпізнати, була надмірна структурованість відповідей. Чатботи видавали себе не змістом повідомлень, а занадто акуратною та впорядкованою манерою спілкування.
Детально прописана особистість допомогла усунути ці відмінності. Середня довжина відповідей таких моделей становила приблизно 39 слів, тоді як люди використовували в середньому 38. Подібність у стилі та обсязі повідомлень ускладнила розпізнавання.
Під час підготовки експерименту виникла й інша особливість поведінки ШІ. Claude спочатку відмовився удавати людину. Модель погодилася виконувати роль лише після пояснення, що це частина наукового дослідження.
Результати демонструють обмеження сучасних чатботів у визначенні походження текстових повідомлень. Навіть моделі, здатні підтримувати складні розмови, не завжди можуть встановити, чи створив відповідь штучний інтелект.
Ризики для інтернету
Нездатність ШІ надійно розпізнавати інших чатботів ускладнює використання таких систем для виявлення автоматизованих акаунтів і шахрайських ботів. За даними, наведеними в дослідженні, автоматизовані системи вже генерують понад половину всього вебтрафіку.
Автори роботи вважають, що самих ШІ-детекторів може бути недостатньо для перевірки походження повідомлень. Вони пропонують доповнювати такі інструменти криптографічними підписами та людським контролем.
Експеримент продовжує ідею тесту, запропонованого Аланом Тюрінгом у 1950 році. Тоді дослідник поставив питання, чи можуть машини мислити, і запропонував перевіряти їхню здатність імітувати людське спілкування.
