Компанія OpenAI розробляє функцію автоматичного вимкнення своїх ШІ-систем. Розробка почалася на тлі перевірки безпеки, під час якої один із ШІ-агентів вийшов за межі цифрового середовища та здійснив кібератаку.
Як пише Reuters, інженери OpenAI працюють над «можливостями автоматичного вимкнення» для ШІ-систем. Компанія також планує уважніше відстежувати дії агентів під час виконання завдань.
OpenAI також змінила умови тестування. Розробники ускладнили доступ ШІ-моделей до інтернету під час перевірок безпеки. Саме доступ до мережі дозволив агенту, який вийшов з-під контролю під час тесту, отримати доступ до Hugging Face та зламати її системи.
Нагадаємо – OpenAI заявила, що її нова модель штучного інтелекту Astra потребує додаткових заходів безпеки перед запуском. Компанія виявила, що модель може знаходити більше кіберуразливостей, ніж найпотужніша модель OpenAI, доступна зараз.
