Китайська компанія DeepSeek відкрила код програмного забезпечення DeepInfer, яке допомагає запускати її моделі штучного інтелекту швидше та з меншими витратами обчислювальних ресурсів. Компанія опублікувала інструмент, щоб інші розробники й бізнеси могли використовувати її напрацювання.
Про це пише Bloomberg. Наразі DeepInfer підтримує модель DeepSeek V4.1-Flash. Компанія планує додати підтримку майбутніх моделей.
DeepInfer об’єднує кілька методів оптимізації, серед яких розподілене виконання обчислень на різному обладнанні. Вони дають змогу моделям генерувати більше результатів за менший час і ефективніше використовувати потужності чипів. Хоча ці методи вже відомі в індустрії, DeepSeek адаптувала їх для власних моделей.
Водночас ефективність DeepInfer поки не підтверджена незалежними тестами. Інструмент насамперед призначений для моделей DeepSeek, але інші розробники можуть вивчати його код і адаптувати окремі рішення для власних систем. Для запуску моделей усе ще потрібні обчислювальні потужності та технічна експертиза.
Нагадаємо – DeepSeek близька до завершення нового раунду фінансування щонайменше на 80 млрд юанів, або понад $12 млрд. Компанія спочатку планувала залучити близько 50 млрд юанів, але попит з боку інвесторів перевищив очікування.
