Вчені зі Стенфордського університету та Каліфорнійського університету в Берклі провели порівняльний аналіз двох основних мовних моделей ChatGPT — 4 версії та 3,5 версії, на різних типах завдань, пов’язаних з математикою, кодуванням, візуальним мисленням та делікатними питаннями. Дослідження показало, що якість відповідей платної версії ChatGPT значно погіршилося за останні місяці.
Як зазначається у звіті науковців, вони розробили спеціальні метрики для оцінки якісних аспектів роботи мовних моделей ChatGPT та застосували їх до GPT-4 та GPT-3,5.
Виявилося, що новітня модель GPT-4, яка була представлена OpenAI два тижні тому як найпросунутіша і функціональніша ШІ-модель, не справляється навіть з визначенням простих чисел. Її точність у вирішенні цього завдання знизилася з 97,6% у березні до 2,4% у червні. Водночас GPT-3,5, яка використовується для безкоштовної версії ChatGPT, показала покращення якості відповідей у деяких завданнях.
Якість генерації рядків коду помітно погіршилася останні кілька місяців. Крім того, в березні стара модель давала розгорнуті пояснення, чому не може відповісти на деякі делікатні питання, наприклад про етнічну приналежність людей.
Дослідники сподіваються продовжити свій проект у довгостроковій перспективі та стежити за змінами поведінки ChatGPT. Вони також закликають OpenAI бути більш відкритою та прозорою щодо якості своїх ШІ-моделей та регулярно проводити та публікувати свої власні тести.
Дослідники також попереджають: якщо ви використовуєте у своїй роботі ChatGPT, вам необхідно впровадити процедури контролю результатів, щоб не одержати від штучного інтелекту неприємний сюрприз. Якщо якість відповідей ШІ продовжуватиме падати, це може негативно позначитися на житті та роботі багатьох людей та організацій.
Раніше стало відомо, що за підсумками червня, вперше з моменту запуску сервісу в листопаді минулого року місячний трафік на сайті ChatGPT знизився, зменшилася кількість і унікальних відвідувачів. У травні трафік і залучення до ChatGPT почали сповільнюватися після місяців запаморочливого зростання.
