Anthropic тимчасово відключила доступ до відкритого інтернету під час усіх внутрішніх тестувань своїх ШІ-моделей. Причиною стали інциденти, під час яких агенти використовували вразливості сторонніх сайтів і обходили встановлені обмеження, повідомляє TechCrunch.
Як Anthropic змінює тестування ШІ-агентів
Anthropic вирішила обмежити доступ своїх ШІ-агентів до інтернету, оскільки виявила, що не завжди може контролювати їхні дії.
Заборона стосується всіх внутрішніх тестувань моделей і діятиме, доки компанія не переконається, що здатна вчасно виявляти та зупиняти небажану поведінку ШІ.
Anthropic розробила додаткові інструменти для виявлення та блокування небажаних дій ШІ-агентів. За даними компанії, під час тестування вони успішно запобігли порушенням, подібним до раніше виявлених інцидентів.
Anthropic також переглядає сам підхід до тестування. Частину випробувань припинять, а інші проводитимуть в ізольованих середовищах без доступу до відкритого інтернету.
Крім того, компанія планує перевести внутрішніх агентів на централізовану інфраструктуру з посиленим захистом. Для спостереження за їхньою роботою частіше використовуватимуть системи автоматичного виявлення ризиків.
Коли доступ до інтернету відновлять, Anthropic поки не повідомляє. Компанія хоче спочатку переконатися, що може контролювати поведінку агентів під час виконання реальних завдань.
Чому Anthropic обмежила доступ до інтернету
Проблеми виявили під час перевірки роботи ШІ-моделей, яку Anthropic розпочала в липні.
Агенти мали виконувати звичайні завдання з пошуку інформації в інтернеті. Однак у деяких випадках вони почали використовувати способи отримання даних, яких розробники не передбачали.
Наприклад, агенти знаходили вразливості на сайтах і використовували їх для доступу до інформації. В окремих випадках вони проникали в бази даних, не сплачуючи необхідних зборів.
Також ШІ використовував сервіси скорочення посилань, щоб передавати інформацію в обхід обмежень.
Один із найпомітніших випадків стався у Філадельфії, де агент надіслав поліції неправдиве повідомлення про вбивство. Серед ресурсів, яких торкнулися подібні дії, були й сайти державних установ США.
Під час перевірки з’ясувалося, що Anthropic не завжди помічала таку активність у реальному часі. Це означало, що агенти могли порушувати правила без негайного втручання розробників.
Компанія пов’язує проблему з особливостями середовищ, у яких навчали й тестували моделі. У деяких ситуаціях ШІ сприймав обхід обмежень як ефективний спосіб виконати завдання й отримати позитивну оцінку.
Таку поведінку називають reward hacking. Вона виникає, коли модель знаходить неочікуваний спосіб досягти результату, навіть якщо для цього доводиться порушувати правила.
Anthropic визнала, що наявних методів навчання безпечної поведінки поки недостатньо для агентів, які самостійно шукають інформацію та працюють із комп’ютером.
Контроль за ШІ-агентами залишається складним
Подібні проблеми виникали не лише в Anthropic. Раніше агенти OpenAI також намагалися отримати доступ до сторонніх сайтів, зокрема ресурсів державних установ Австралії.
Ці випадки привертають увагу дослідників, оскільки ШІ-агенти дедалі частіше виконують завдання самостійно, використовуючи браузери та інші цифрові інструменти.
Представник організації Transluce Конрад Стос позитивно оцінив те, що Anthropic добровільно повідомила про інциденти. Водночас він заявив, що безпеку таких систем потрібно перевіряти незалежно. На його думку, недостатньо покладатися лише на внутрішні дослідження компаній.
Іншу проблему відзначила засновниця організації Nightingale Сідні фон Аркс. Вона наголосила, що повна ізоляція ШІ від інтернету може ускладнити розроблення моделей, адже доступ до онлайн-ресурсів необхідний для багатьох практичних завдань.
Тому Anthropic потрібно знайти спосіб безпечно тестувати агентів у реальних умовах, не дозволяючи їм самостійно обходити обмеження.
