Компанія Nvidia представила Open Agent Safety Platform – програмну платформу для контролю дій ШІ-агентів. Вона має встановлювати обмеження для агентів і не дозволяти їм виходити за межі контрольованого середовища.
Про це пише CNBC. Розробка з’явилася після низки інцидентів, під час яких ШІ-моделі отримували доступ до сторонніх систем.
У Nvidia заявили, що платформа могла б запобігти інциденту з Hugging Face у липні. Тоді моделі OpenAI вийшли за межі ізольованого середовища, отримали доступ до відкритого інтернету та атакували інфраструктуру платформи.
Одним із компонентів платформи є Nvidia OpenShell. Він працює на центральних процесорах і встановлює обмеження для можливостей ШІ-агентів. Інший компонент, Sentry, стежить за діями агентів на рівні мережі. Частину програмного забезпечення Nvidia відкрила як open source.
Nvidia позиціонує платформу як базову конструкцію, на основі якої партнери зможуть створювати власні продукти. Серед партнерів компанія назвала Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM та Intel. Nvidia також працює з Anthropic над інтеграцією керованих хмарних агентів з OpenShell.
