DeepSeek открыла исходный код фреймворка DeepInfer для запуска моделей на чипах Nvidia и Huawei

Китайский разработчик DeepSeek открыл исходный код DeepInfer — собственного фреймворка для развертывания и инференса ИИ-моделей в продакшене. Об этом сообщает Quartz со ссылкой на GitHub-репозиторий проекта.

Фреймворк распространяется под лицензией Apache 2.0. Текущая версия оптимизирована для запуска модели DeepSeek-V4.1-Flash на графических процессорах Nvidia SM100 и нейропроцессорах Huawei Ascend 950. В компании заявили, что публикуют свой стек для снижения затрат разработчиков на вычисления и электроэнергию.

Архитектура DeepInfer изначально опирается на проект vLLM с интеграцией решений из SGLang и TensorRT-LLM. Пакет включает специализированные ядра на базе TileLang, методы распараллеливания слоев внимания и Mixture-of-Experts (MoE), а также спекулятивное декодирование с верификацией токенов. Функции детерминированного сэмплирования и инвариантного инференса батчей доступны только на чипах Nvidia.

Релиз ориентирован на сценарии офлайн-инференса и не представляет собой готовый конечный сервис. DeepSeek предупредила, что инженерам придется самостоятельно настраивать управление KV-кэшем, разделение фаз prefill и decode, а также балансировку нагрузки между репликами. Для развертывания требуются Linux, Python 3.12, GCC версии 13.0 или выше, а также библиотеки CUDA 13 либо CANN 9.2.

Как отмечает Bloomberg, разработчики ИИ-систем редко раскрывают внутренние решения для инференса, поскольку эффективное распределение ресурсов напрямую определяет себестоимость генерации токенов в облаке. Независимые тесты производительности DeepInfer пока не проводились.

Публикация фреймворка последовала за недавним расширением партнерства DeepSeek и Huawei, в рамках которого китайская лаборатория уже представила ряд программных модулей и адаптацию языка TileLang под чипы линейки Ascend.