Корпорація Microsoft намагається ускладнити людям завдання з використання чат-ботів зі штучним інтелектом для заборонених речей. В Azure AI Studio вбудовуються нові функції безпеки, які дають змогу розробникам створювати ШІ-помічників, які налаштовуються, використовуючи виключно власні дані.
Як зазначає Bloomberg, інструменти містять миттєві щити, які призначені для виявлення і блокування навмисних спроб змусити модель ШІ порушувати правила. Цей процес також відомий як атаки зі швидким впровадженням або джейлбрейки.
Microsoft також бореться з непрямими швидкими ін’єкціями, коли хакери вставляють шкідливі інструкції в дані, на яких навчається модель, і обманом змушують її виконувати такі несанкціоновані дії, як крадіжка користувацької інформації або злом системи.
Нова система захисту призначена для виявлення підозрілих вхідних даних та їх блокування в режимі реального часу. Такі атаки в компанії називають унікальним викликом і загрозою.
Microsoft також впроваджує функцію, яка попереджає користувачів, коли модель вигадує помилки або генерує помилкові відповіді. Яскравими ознаками таких атак є багаторазове завдання чат-бота запитання або підказки, що описують рольову гру.
Microsoft є найбільшим інвестором OpenAI та зробила партнерство ключовою частиною своєї стратегії в галузі штучного інтелекту.
