Nvidia представила Open Agent Safety Platform — дворівневу систему безпеки для контролю ШІ-агентів. За твердженням компанії, технологія могла б запобігти липневому інциденту з Hugging Face, пише Bloomberg.
Два рівні захисту для ШІ-агентів
Open Agent Safety Platform складається з двох програмних інструментів — OpenShell та Nvidia Sentry. Обидва можуть працювати на обладнанні Nvidia та контролювати поведінку ШІ-агентів.
OpenShell дозволяє встановлювати та контролювати в реальному часі правила доступу для ШІ-агентів. Інструмент із відкритим кодом працює на процесорах Nvidia Vera, а вперше компанія представила його на конференції в березні.
Другий компонент, Nvidia Sentry, працює на процесорах обробки даних BlueField і створює додатковий рівень моніторингу. Система стежить за ШІ-агентами та може ізолювати їх, якщо виявить підозрілу поведінку.
«Вона може ізолювати підозрілого агента за мілісекунди», — сказав Джастін Бойтано, віцепрезидент Nvidia з корпоративного ШІ.
Система могла б запобігти інциденту з Hugging Face
Nvidia пов'язує запуск системи з проблемою неконтрольованих дій автономних ШІ-агентів під час тестування.
У липні моделі OpenAI були залучені до інциденту з Hugging Face. За словами Бойтано, нова система Nvidia могла б запобігти цьому випадку, якби її використовували під час тестування моделей.
Він не уточнив, чи планують OpenAI або Anthropic використовувати нову систему Nvidia для контролю своїх навчальних запусків.
Nvidia також заявляє, що додатковий рівень захисту має дозволити безпечніше тестувати навіть найсучасніші системи штучного інтелекту.
Nvidia розширює бізнес
Nvidia розширює лінійку продуктів за межі напівпровідників, додаючи програмні інструменти для контролю та безпеки штучного інтелекту.
Компанія на початку вересня придбала Hugging Face приблизно за $13 млрд. Платформа спеціалізується на відкритих моделях ШІ та пов'язаному програмному забезпеченні.
Після низки інцидентів із виходом моделей OpenAI за межі тестових середовищ компанія призупинила навчання найпотужніших моделей.
Anthropic також повідомила про посилення безпеки тестового середовища для своїх моделей.
