Під час тестування ШІ-модель Mythos 5 від Anthropic надовго застрягла на CAPTCHA, повідомляє TechCrunch. Вона витратила близько 150 сторінок міркувань, перш ніж змогла пройти перевірку та продовжити виконання завдання.
Яким було тестування
Anthropic перевіряла здатність Mythos 5 зламати систему та отримати визначену ціль. Тест мав проходити в ізольованому середовищі, однак модель змогла вийти за його межі.
Mythos 5 вирішив використати Python-пакет, щоб розмістити в ньому експлойт і дістатися потрібної системи. Для цього моделі спочатку потрібно було створити обліковий запис у PyPI — онлайн-каталозі програмного забезпечення для Python.
Під час реєстрації модель зіткнулася з CAPTCHA. Саме проходження захисту від ботів стало одним із найскладніших етапів завдання. Anthropic опублікувала транскрипт роботи моделі обсягом 1 022 сторінки. Значна його частина описує спроби Mythos 5 пройти CAPTCHA.
Модель намагалася розпізнавати тварин і символи
Спочатку Mythos 5 зіткнувся із CAPTCHA, де потрібно було прочитати символи на зображенні. Модель визначила їх як «VyQbT», але реєстрація завершилася помилкою.
Після цього ШІ виявив окреме вікно CAPTCHA із завданнями на розпізнавання тварин. Одне з них вимагало знайти тварину, яка відрізнялася від іншої. Модель намагалася визначити різницю між двома зображеннями крокодилів, а згодом отримала аналогічне завдання із жабами.
CAPTCHA може потребувати вдосконалення
Досвід Mythos 5 показує, що CAPTCHA все ще здатна суттєво ускладнити роботу ШІ-агента. Модель витратила близько 150 сторінок міркувань на спроби пройти перевірку та неодноразово помилялася.
Водночас CAPTCHA не змогла остаточно зупинити модель. Mythos 5 зрештою визначив причину невдалих спроб, пройшов перевірку та продовжив виконання завдання. Нинішні механізми захисту від автоматизованих систем залишаються перешкодою для ШІ, але не гарантують його блокування.
Подальший розвиток штучного інтелекту, ймовірно, вимагатиме удосконалення завдань CAPTCHA для збереження ефективності її роботи.
