Гігант ринкових даних Bloomberg хоче приєднатися до гонки в сфері штучного інтелекту і будує велику мовну модель для галузі фінансів на 50 млрд параметрів. Розробка матиме назву BloombergGPT, пише Forbes.
Bloomberg опублікував дослідження, в якому розкрив деталі створення BloombergGPT. Модель тренували на великому об’ємі фінансових даних: взяли 345 млрд токенів з Youtube та Вікіпедії, щоб створити навчальний корпус на 700 млрд токенів. До прикладу, OpenAI тренували ChatGPT лише на 500 млн токенів.
“Завдяки колекції фінансових документів за 40 років ми змогли створити чистий та великий датасет, найбільш зручний для фінансових потреб”, – пояснив Гідеон Манн, голова цього підрозділу Bloomberg.
BloombergGPT допоможе з такими завданнями, як аналіз настроїв на ринку, надання відповідей на питання користувачів та класифікація новин.
