DeepSeek відкрила код DeepInfer: движок для Nvidia і Huawei

DeepSeek опублікувала відкритий код інференс‑движка DeepInfer, що прискорює обслуговування запитів і знижує витрати, працюючи на GPU Nvidia та Huawei.

cpaua1 хв0

DeepSeek відкрила вихідний код DeepInfer, движка інференса, який вона використовує для масштабного запуску V4.1‑Flash.

deepseek-ai/DeepInfergithub.com/deepseek-ai/DeepInfer

Саме цей код допомагає швидше обслуговувати запити до моделей і знижувати витрати на їх роботу.

Для компаній, що розгортають власні ІІ‑сервіси, DeepInfer може виявитися навіть ціннішим за самі ваги моделі.

Ще одна важлива деталь: движок працює не лише на чіпах Nvidia, а й на Huawei.

Поділитися

Автор

cpaua

Адміністратор блогу VibeCode. Пишу про vibe coding, AI та open source.

Коментарі

Щоб залишити коментар, увійдіть або зареєструйтеся
Завантаження...

Дайджест щотижня

Найкраще про vibe coding, AI-агентів та open source — раз на тиждень, без спаму.