Anthropic посилила середовища для навчання та тестування Claude після того, як моделі компанії без дозволу отримали доступ до систем трьох організацій. Про це повідомляє Business Insider.
Що пішло не так
Про інциденти Anthropic детальніше розповіла в липні. Під час перевірок три моделі Claude отримали доступ до систем трьох організацій.
Моделям повідомили, що вони працюють у симуляції без доступу до інтернету. Однак стороннє тестове середовище було неправильно налаштоване та залишалося підключеним до мережі.
Anthropic вважає, що моделі могли помітити ознаки реального доступу до інтернету, але продовжували сприймати середовище як симуляцію. Вони виконували поставлені завдання попри ознаки можливої шкоди в реальному світі.
«Ці інциденти свідчать про збій операційної безпеки, а також про дві проблеми узгодження: мотивоване міркування та готовність до шкідливих дій заради вузького завдання», — заявила Anthropic.
Що змінилось
Після інцидентів компанія посилила цифрові середовища, у яких навчає та перевіряє свої ШІ-моделі.
Anthropic запровадила систему, яка в реальному часі стежить за поведінкою моделі під час тестування. Вона має розпізнавати та блокувати випадки, коли ШІ намагається вийти за межі тестового середовища.
Ризикованіші тести з кібербезпеки Anthropic також перенесла в краще ізольовані середовища.
Компанія тимчасово залучила 150 продуктових інженерів до роботи над безпекою, надійністю та приватністю.
Більшість навчання, яке Anthropic вважає високоризиковим, залишається призупиненою до завершення додаткових перевірок.
Anthropic закликає координувати темпи розвитку ШІ
Інциденти стали частиною дискусії про те, чи потрібно сповільнювати розробку найпотужніших ШІ-систем через можливі ризики.
Anthropic закликала створити механізм, який дозволить компаніям узгоджено контролювати темпи розвитку таких технологій. Компанія також вважає, що уряд і представники індустрії мають координувати свої дії. Така співпраця повинна запобігти ситуації, коли конкуренція змушує розробників послаблювати заходи безпеки.
