墨芯S40计算卡完成DeepSeek大模型部署， 支持单卡推理大模型
2025-02-07
近期，“国产之光”DeepSeek系列大模型发展迅猛，领跑开源大模型技术与生态，为中国人工智能行业带来了前所未有的变革动力，对全球科技竞争格局产生积极影响。
稀疏计算助力DeepSeek R1模型高效部署
日前，墨芯人工智能（Moffett AI）已完成与DeepSeek R1全系列蒸馏模型的推理部署。凭借自研的双稀疏算法技术，墨芯S40计算卡性能得到充分释放，为DeepSeek R1的高效部署提供了强劲的算力后盾，并在较短时间内完成DeepSeek-R1-70B* 和DeepSeek-R1-32B* 等中、大模型的部署，且成功实现单卡支持DeepSeek-R1-32B*部署。
软硬件协同提升DeepSeek R1模型推理效率
DeepSeek-R1蒸馏模型是DeepSeek在模型压缩与优化领域的重要创新，通过蒸馏技术实现了高效、低成本的AI推理，适合企业内部实施部署，实现降本增效。DeepSeek-R1-70B* 和DeepSeek-R1-32B*是DeepSeek-R1蒸馏模型的中大规模和大规模模型。DeepSeek-R1-32B*推理速度较快，实时性要求高的场景，擅长处理日常对话、文档生成和基础代码辅助；DeepSeek-R1-70B*侧重复杂逻辑推理、科研分析、高质量内容创作。
墨芯的稀疏计算技术则是通过算法与硬件的协同设计，有效地减少蒸馏模型部署所需的资源，其中稀疏化技术将模型中的稠密张量转换为等效的稀疏张量，使张量中产生大量的零元素，通过剪枝，有效消减模型冗余，以显著加快计算速度，实现了大模型的高效稀疏化，显著提升DeepSeek-R1系列蒸馏模型的推理速度并降低能耗。
此外，相较于传统推理平台，墨芯S40算力卡能够实现“单卡推理大模型”，简化了多卡分布式处理大模型的复杂部署流程，降低了时间、功耗和成本。这一优势在DeepSeek-R1蒸馏模型的部署中得到了充分体现，墨芯的S40计算卡满足了高算力需求，降低了总拥有成本（TCO），为 AI大模型在各行业的应用提供了支持。
墨芯人工智能与DeepSeek-R1蒸馏模型的成功部署，实现了国产AI算力基座和国产大模型在应用层面的“双向奔赴”，展示了稀疏计算技术在大模型领域的实践成果，也为企业部署“高性能”且“用得起”的大模型提供新思路。
粤ICP备2021128059号