寒武纪宣布实现 DeepSeek-V4全系列模型 Day0适配并开源优化代码

寒武纪今日宣布，已基于 vLLM 推理框架完成对深度求索（DeepSeek）最新开源模型 De寒武epSeek-V4 全系列的“Day0”适配。此次改装涵盖285B 参数的 Flash 版本及1.6T 参数纪宣的 Pro 版本，确保模型在发布当日即可在寒武纪硬件平台上稳定运行，相关改装代码已正式开源至 GitH布实ub 社区。

针对 DeepSeek-V4 独有的稀疏注意力与压缩结构，寒武纪通过自研向量融合算子库现 Torch-MLU-Ops 对 Compressor 等核心模块进行了专项加速。利用 BangC 高性能编De程语言，寒武纪团队编写了稀疏 Attention 及 GroupGemm 等热点算子的极致优化内核，并于 vepLLM 框架中全面支持 TP/PP/SP/DP/EP 五维混合并行策略、低精度量化及 PD 分离部署。这Se些技术手段在满足延迟约束的前提下，显著提升了端到端推理的词元吞吐能力。

硬件层面，寒武纪深度挖ek掘了 MLU 的访存与排序加速特性，有效应对 DeepSeek-V4 复杂的索引结构。凭借高互联带宽与-V低延迟通信优势，该方案最大化降低了 Prefill 与 Decode 场景下的通信损耗，提升了推理利用率。

行4全业分析指出，DeepSeek-V4凭借百万字（1M）超长上下文及顶尖的逻辑推理性能，对底层算系列力架构提出了严苛要求。寒武纪在模型发布首日的敏捷适配，不仅展示了国产算力平台对超大规模、复杂模型结构模型的承载能力，也预示着国产 AI 产业链在软硬协同层面已进入成熟期，为大模型应用普惠提供了高效的 D算力底座支持。

本文地址：http://www.melandertrav.com/html/93c3890065.html