Дослідники з Корейського інституту передових наук і технологій (KAIST) встановили, що ШІ-агенти можуть споживати у 136,5 раза більше електроенергії на один запит, ніж звичайні генеративні ШІ-системи. Перше комплексне дослідження оцінило обчислювальні витрати таких систем у реальних умовах використання.
Як передає mezha.ua, на відміну від традиційних чат-ботів, ШІ-агенти можуть самостійно планувати дії, використовувати зовнішні інструменти, виконувати код, шукати інформацію в інтернеті та вирішувати багатокрокові завдання. Через це вони значно частіше звертаються до великих мовних моделей (LLM), що збільшує кількість обчислень.
Команда під керівництвом професора Мінсу Ру зі Школи електротехніки KAIST з’ясувала, що багаторазові звернення до моделей суттєво збільшують час виконання завдань. У деяких випадках затримка відповіді була у 153,7 раза більшою, ніж у традиційних системах із покроковим міркуванням.
Дослідники також виявили проблему ефективності використання обладнання. Під час роботи ШІ-агентів графічні процесори могли простоювати до 54,5% часу, оскільки система чекала на завершення операцій зовнішніх інструментів.
Зауважимо – Meta домовилася про постачання електроенергії для дата-центрів штучного інтелекту з космосу. Йдеться про угоду зі стартапом Overview Energy, який розробляє технологію збору сонячної енергії на орбіті з подальшою передачею на Землю.
