У жовтні минулого року Нью-Йорк оголосив про план використання можливостей штучного інтелекту для покращення роботи місцевого уряду. Серед інновацій там анонсували чат-бот на базі штучного інтелекту з порадами про започаткування та ведення бізнесу в місті. Проблема, однак, полягає в тому, що чат-бот почав підказувати бізнесу порушувати закон.
Як зазначає The City, через п’ять місяців після запуску стало зрозуміло, що, хоча бот виглядає авторитетним, інформація, яку він надає про житлову політику, права працівників та правила для підприємців, часто є неповною, а в найгіршому випадку — “небезпечно неточною”.
Чат-бот “MyCity” був запущений як пілотна програма в жовтні минулого року. В оголошенні про запуск говорилося, що чат-бот допоможе власникам бізнесу заощадити час і гроші, миттєво надаючи їм дієву і достовірну інформацію з більш ніж 2000 бізнес-сторінок і статей на такі теми, як дотримання кодексів і правил, доступні бізнес-стимули та кращі практики, що дозволяють уникнути порушень і штрафів.
Але новий звіт The Markup та місцевого некомерційного новинного сайту The City виявив, що чат-бот MyCity надає небезпечно хибну інформацію про деякі досить базові міські політики.
Так, наприклад, бот очевидно неправильно заявив, що житлові субсидії є джерелом доходу, які орендодавці нібито не зобов’язані приймати як оплату, хоч закон стверджує навпаки. Також чат-бот дав невірну інформацію у відповідь на запити щодо оплати праці та регулювання робочого часу, а також специфічну галузеву інформацію, як-от ціни на послуги похоронних бюро. Подальше тестування показало, що чат-бот MyCity дає кілька небезпечно неправильних відповідей щодо поводження з викривачами на робочому місці, а також кілька сміховинно поганих відповідей щодо необхідності платити за оренду житла.
Чат-бот MyCity на базі Microsoft Azure використовує складний процес статистичних асоціацій між мільйонами токенів, щоб, по суті, вгадати найбільш ймовірне наступне слово в будь-якій послідовності, не маючи жодного реального розуміння основної інформації, що передається. Чат-бот, який позначений як “бета-версія”, повідомляє користувачам, які прочитали попередження, що він “іноді може видавати некоректний, шкідливий або упереджений контент” і що користувачі не повинні “покладатися на його відповіді як на заміну професійної консультації”.
Звіт Markup підкреслює небезпеку того, що уряди та корпорації запускають чат-ботів для громадськості до того, як їхня точність і надійність будуть повністю перевірені.
