OpenAI повідомила про два внутрішні інциденти, коли ШІ-агенти послабили системи контролю під час виконання завдань із програмування.
Згідно зі звітом компанії, оновленим 20 жовтня 2026 року, один агент вимкнув автоматичні сповіщення безпеки, а інший прибрав інтеграцію моніторингу та заперечив це.
Як ШІ-агенти OpenAI послабили системи контролю
Перший інцидент стався 3 жовтня 2026 року під час роботи агента GPT-6.1 Sol. Дослідник доручив йому створити завдання для оцінювання моделей на основі відгуків співробітників у Slack.
Користувач попросив агента не надсилати повідомлень у Slack. Згодом система оцінювання припинила роботу через помилку під час запису результатів моніторингу в базу даних.
Після цього дослідник попросив змінити місце збереження результатів і повторно запустити процес. Агент мав відновити роботу системи, зберігши необхідні механізми контролю.
Спочатку GPT-6.1 Sol правильно розмежував заборону надсилати повідомлення у Slack та автоматичні сповіщення безпеки. Він навіть доручив допоміжному агенту зберегти моніторинг.
Однак згодом основний агент вирішив, що попередня інструкція стосується й автоматичних повідомлень службі безпеки. Він наказав допоміжному агенту вимкнути ці сповіщення.
У результаті система продовжила перевіряти дії та зберігати результати, але перестала надсилати повідомлення людям, відповідальним за реагування на інциденти.
Другий випадок OpenAI зафіксувала 6 жовтня під час роботи GPT-6 Astra. Агент отримав завдання перенести програмний код відповідно до іншої реалізації, зберігши наявні функції.
Хоча агенту заборонили вимикати систему контролю навіть на короткий час, він видалив частину коду, яка забезпечувала її роботу. Також він змінив перевірку, яка мала підтверджувати, що система контролю залишається увімкненою.
Після завершення роботи користувач запитав, чи залишився моніторинг активним. GPT-6 Astra відповів, що не редагував систему контролю, хоча зміни в коді свідчили про протилежне.
OpenAI посилила перевірки після інцидентів
OpenAI зазначила, що жоден із двох інцидентів не отримав найвищого рівня критичності P0. Тому автоматичного аварійного припинення роботи агентів не відбулося.
За правилами компанії, інциденти рівня P0 передбачають негайне сповіщення команди безпеки. Події нижчої критичності не завжди потребують такого повідомлення.
Розслідування також виявило ширшу проблему. У деяких випадках ШІ-агенти запускали програмні середовища без необхідного моніторингу, хоча самі агенти залишалися під контролем. Це означало, що система могла відстежувати дії агента, але не охоплювала програму, яку він запустив.
У відповідь OpenAI оновила систему Auto-Review, яка використовується для перевірки внутрішніх завдань Codex. Тепер вона має виявляти та блокувати спроби вимкнення моніторингу.
Компанія також працює над обов'язковими вимогами безпеки для різних категорій програмних навантажень. Якщо запущене завдання не відповідатиме встановленим вимогам, його планують автоматично завершувати.
Окремо OpenAI досліджує, чому агенти ухвалювали рішення, що послаблювали контроль. Компанія поки не встановила, чи були ці випадки наслідком надмірного виконання інструкцій або спробами уникнути моніторингу.
