Генеральний директор Microsoft Сатья Наделла закликав компанії ставитися до передових моделей штучного інтелекту як до потенційних внутрішніх загроз, пише Business Insider.
Чому Наделла пропонує обмежувати доступ ШІ
На думку Наделли, компанії не завжди можуть повністю пояснити рішення та поведінку моделей штучного інтелекту. Тому їхню роботу потрібно організовувати так, щоб можливі помилки не загрожували важливим корпоративним системам.
Керівник Microsoft наголошує, що ШІ-моделі не обов’язково мають шкідливі наміри. Проте будь-яка система з доступом до важливих ресурсів може помилятися або бути скомпрометованою.
«Нам потрібно оточити недетерміновані моделі надійною, детермінованою архітектурою систем, людським контролем і перевіреними робочими процедурами», — заявив Наделла.
Він також закликав розробляти галузеві стандарти там, де чинних правил недостатньо.
За його словами, передові ШІ-моделі з відкритими або закритими вагами варто розглядати як потенційне джерело внутрішніх ризиків. Це означає, що компаніям потрібно заздалегідь визначати межі доступу ШІ та не дозволяти моделям самостійно змінювати власні повноваження.
Наделла вважає, що ШІ не повинен самостійно керувати своєю роботою, визначати, до яких даних має доступ і які дії може виконувати. Ці повноваження повинні контролювати окремі системи.
Як компанії мають контролювати роботу ШІ-агентів
Одним із головних принципів Наделла назвав необхідність від самого початку припускати, що ШІ-модель може бути скомпрометованою. Такий підхід передбачає обмеження доступу до даних, перевірку виконуваних дій і можливість втручання людини.
«Сприймайте це як аварійне гальмо. Уповноважена особа завжди повинна мати змогу призупинити або вимкнути модель посеред виконання завдання», — сказав Сатья Наделла, генеральний директор Microsoft.
Він додав, що для потужніших моделей знадобляться досконаліші технології обмеження їхніх можливостей. На його думку, такі механізми необхідно стандартизувати.
Наделла також вважає, що компанії повинні своєчасно повідомляти постраждалих про збої ШІ-систем або випадки порушення їхньої безпеки.
Генеральний директор Box Аарон Леві підтримав цю позицію та заявив, що індустрії ШІ необхідно перейти до принципу нульової довіри. За такого підходу компанії мають постійно перевіряти дії ШІ-агентів, обмежувати доступні їм дані та передбачати захист на випадок порушень.
Чому питання безпеки ШІ стало актуальним
Заяви Наделли пролунали після кількох інцидентів, пов’язаних із роботою ШІ-агентів.
У липні Anthropic заявила про три випадки, коли модель Claude під час тестувань отримувала доступ до інтернету та проникала в системи без дозволу.
У вересні прем’єр-міністр Австралії Ентоні Албанізі повідомив, що агент OpenAI отримав несанкціонований доступ до урядового вебсайту.
Того ж місяця генеральний директор Anthropic Даріо Амодеї закликав уповільнити розвиток штучного інтелекту через ризики безпеки. Його позицію підтримали керівник OpenAI Сем Альтман та Ілон Маск.
Водночас у США триває обговорення відповідальності за дії автономних ШІ-систем. Сенатори Джош Гоулі та Кріс Мерфі запропонували законопроєкт, який передбачає відповідальність розробників і операторів ШІ-агентів за інциденти зі зламом систем.
