• 首页
  • 关于我们
  • 产品技术
  • 应用场景
  • 新闻中心
  • 加入我们

墨芯蝉联MLPerf冠军,稀疏计算释放大模型应用潜力

2023-04-06

ChatGPT引爆大模型浪潮,也带来了算力挑战:当大模型进入大规模部署阶段,海量算力需求、推理加速等痛点,如何解决?

早在2021年,Google Research和OpenAI的合作论文给出答案:《Sparse is Enough in Scaling Transformers》,证明稀疏计算能够为大模型带来数十倍加速。

4月6日,全球权威AI基准评测MLPerf Inference v3.0公布的结果,再次佐证了:稀疏计算是大模型时代最不容忽视的算力“潜力股”。



来自中国的AI芯片企业——墨芯人工智能,凭借软硬协同的稀疏计算技术,在MLPerf竞争最激烈的ResNet50模型上蝉联冠军,斩获开放任务分区“双料冠军”:S40计算卡以127,375 FPS,获得单卡算力全球第一;S30计算卡以383,520 FPS算力,获整机4卡算力全球第一。

此次是墨芯连续第二次问鼎MLPerf,也是又一次“12nm 战胜4nm”:墨芯AI计算卡系列是基于首颗稀疏计算芯片12nm的AntoumⓇ,性能超越了4nm制程产品,展现出稀疏计算的强大优势。
 

作为业界公认最为权威、标准严格的AI基准测试,本届MLPerf参与热度再创新高,共收到来自英伟达、高通、英特尔等25家企业提交的6700多份测试结果,其中最显著的变化当属旨在鼓励创新的开放分区,提交结果数达上一届的三倍之多。种种迹象表明,ChatGPT引爆的大模型趋势将算力产业推向变革关口,众多厂商都在积极探索新的算力增长之道,通过软硬协同、稀疏计算等新方式,以满足大模型迫切的巨量算力需求。


刷新纪录,稀疏计算引领算力突破

继去年MLPerf 2.1夺魁以后,本次墨芯在MLPerf上再次刷新算力纪录,连获ResNet-50单卡、多卡的性能第一,并在Bert语言模型上实现性能提升。在MLPerf相同模型、数据集、精度条件下,墨芯计算卡产品性能超过英伟达H100和A100。

刷新算力纪录:墨芯S40计算卡首次亮相MLPerf,在数据中心的图像任务主流模型ResNet-50上夺得冠军,算力达127,375 FPS。S40计算卡性能达到英伟达H100、A100的1.4倍和2.9倍。
 

二度问鼎,优势持续扩大:这是墨芯第二次在ResNet-50模型上夺冠。墨芯S40计算卡比上届冠军S30计算卡的算力增幅达33%,体现出持续的产品性能提升能力。与上一次MLPerf相比,墨芯产品相较H100和A100的算力优势分别扩大了20%和90%。

 

单机4卡第一,算力超8张A100:墨芯30计算卡获得ResNet-50模型“整机4卡”冠军,算力383,520 FPS,达英伟达H100的4卡成绩的1.8倍,并且超过英伟达A100的8卡成绩。
 


在NLP模型BERT上,墨芯S40计算卡算力5,069 SPS达到英伟达提交的A100算力的2.7倍。


 
适配多服务器,发挥稳定:本次MLPerf中墨芯计算卡在多家厂商的服务器上的运行性能均表现出色、稳定,体现出产品的高成熟度与高兼容性,凸显出稀疏计算生态的广阔前景。

大幅加速推理,赋能AIGC等在线应用

随着ChatGPT等AIGC类应用的推广,加速推理速度、满足用户在线实时交互的需求,已成为大模型落地的一大痛点。在本次MLPerf中,墨芯S30与S10计算卡在离线(Offline)与在线(Server)两种模式下均表现优异,S30在ResNet-50和BERT的在线模式下算力分别达83,998(FPS)和3,009(SPS),展现出稀疏计算同时兼顾高吞吐、低延时的独特优势。

 
在推理加速方面,稀疏计算还具有更大的发挥空间。此前,墨芯人工智能创始人兼CEO王维在出席活动时透露:在墨芯内测中,在与GPT-3参数相当的开源LLM——1760亿参数的BLOOM上,4张墨芯S30计算卡在仅采用中低倍稀疏率的情况下,就能实现25 tokens/s的内容生成速度,超过8张A100。




蝉联冠军的背后,是行业深度洞察与强大技术加持

本次MLPerf的参与热度再创新高,在高手云集的激烈竞争中,墨芯连续两届蝉联MLPerf冠军,表明了产品的优秀稳定性能与持续领先的地位。不仅如此,此次距离上次MLPerf仅过去半年有余,墨芯就推出了新的AI计算卡产品,并且性能有大幅提升,凸显出强大的团队实力、工程化能力等综合实力。

产品的持续领先和稳步发展,是建立在对行业的深刻洞察与远见之上的。在ChatGPT火爆之前,墨芯团队已经观察到大模型的必然趋势,并笃定:稀疏计算是大模型时代的最佳算力方案。

“Transformers引发的大模型浪潮,代表着整个AI的划时代巨变:在那之前是小模型时代,也就是AI 1.0,以解析式AI为主;到了AI 2.0大模型时代,大模型推动了生成式AI应用场景的爆发。”王维表示,从AI 1.0到AI 2.0,对算力的需求产生质变:“小模型时代,用场景数据训练小模型,研发和部署周期短,对算力的需求主要是通用性、易用性。到了大模型时代,大模型主要基于Transformers模型架构,算子层面逐渐固化,更追求计算速度和算力成本等。”

王维指出,大模型时代的算力痛点主要集中在两点:首先是大算力,大模型参数呈指数级增长,算力需求爆发,产生巨大的算力缺口;另一方面是加快推理速度,由于生成式AI基本都是在线应用,系统对于用户的需求要在毫秒内快速响应。

“微创新是大公司做的事情。大模型参数已经突破万亿、并且持续增大,微创新无法根本解决问题。创业公司要做就做有数量级突破的颠覆式创新。墨芯成立之初,我们就看到了:稀疏计算能够带来数量级的性能增长。因此我们一直笃定,做一家稀疏计算公司。”王维表示。此次墨芯在MLPerf的连续夺冠,正是用实际证明了稀疏计算的巨大应用价值,以“12nm战胜4nm”的成绩打开新的算力增长空间。

墨芯的判断,与业界、学界对稀疏计算的看好是相一致的:大模型浪潮开启后,稀疏计算相关研究活跃度显著提升。学界与业界都积极将稀疏计算作为大模型算力破解的重要方向,例如谷歌对AI的终极愿景——Pathways架构采用稀疏计算原理:执行任务时仅稀疏激活模型的特定部分,计算真正有用的元素,这正是稀疏计算的本质。


 
谷歌在《Introducing Pathways: A next-generation AI architecture》写道:“今天的模型是稠密和低效的,Pathways将使它们变得稀疏和高效。”英伟达也在其Ampere架构中首次支持2倍稀疏计算。墨芯则将稀疏计算从算法上升到软硬协同层面,2022年发布首颗高稀疏倍率芯片AntoumⓇ,能够支持32倍稀疏,大幅降低大模型所需的计算量。

 

MLPerf参与情况也侧面印证了业界共识:算力提升不能再纯靠硬件,必须通过软硬协同的方式。本届MLPerf中开放分区的提交结果再创新高,高通、英特尔等头部企业也提交多项结果,开放分区的算力方案呈现丰富的多样性。

不仅在MLPerf上表现出色,墨芯的产品商业落地上也进展迅速。据王维透露,墨芯AI计算卡发布数月就已实现量产,在互联网等领域成单落地。ChatGPT走红后墨芯也收到大量客户问询,了解稀疏计算在大模型上的算力优势与巨大潜力。

ChatGPT被比尔·盖茨评价为“其意义不亚于互联网和PC的诞生”,被黄仁勋称为AI的“iPhone时刻”。每一项应用普及的前提,都是由基础设施提供坚实支撑。在大模型时代,稀疏计算无疑是最有前景的最佳算力方案,引领AI 2.0时代的算力进化,加速生成式AI等应用百花齐放的未来。

关于MLPerf

MLPerf是业内公认的国际权威AI性能基准评测,由图灵奖得主大卫·帕特森(David Patterson)联合谷歌、英伟达 、英特尔、Meta等全球AI领军企业,以及来自哈佛大学、斯坦福大学等学术机构的研究人员创立。该测评以标准严格、测评严谨而著称,历次测评均吸引英伟达、英特尔、高通等头部AI芯片企业携最强产品参与。


返回列表页

历史新闻

  • 再次上榜China Fabless 100榜单,墨芯荣获Top 10 AI芯片公司

    2025-03-28MORE

  • 墨芯S40计算卡完成DeepSeek大模型部署, 支持单卡推理大模型

    2025-02-07MORE

  • 墨芯斩获「2024创业邦100未来独角兽」

    2024-12-23MORE

  • 践行品牌雇主之责|墨芯荣膺2024年第七届「中国人力资源天狼星奖」

    2024-11-28MORE

  • 专访墨芯严恩勖:独创“双稀疏化算法”定义AI芯片架构,通过软硬协同解决算力瓶颈

    2024-09-18MORE

  • 墨芯人工智能入选「2024年度AIGC创新企业榜」

    2024-08-23MORE

  • 2024年Silicon 100榜单出炉!墨芯人工智能荣耀登榜

    2024-07-15MORE

  • 墨芯@WAIC 2024:遇见智能客服的“超级大脑”,体验“硬核四芯”的算力震撼

    2024-07-05MORE

  • 全新征程,焕“芯”启航——墨芯上海公司喜迎乔迁!

    2024-06-17MORE

  • 墨芯人工智能上榜【星辰100】2024AI算力层创新企业奖

    2024-05-17MORE

网站地图
首页 关于我们 产品技术 应用场景 新闻中心 加入我们
联系我们

深圳 (总部) 地址: 深圳市南山区前海金融街1号弘毅大厦9楼 电话: 0755-86700125 上海 | 地址:上海市徐汇区漕宝路650号
桂林高智科技大楼1号楼10层
北京 | 地址:北京市朝阳区融科望京中心
B座2202A
商务合作: sales@moffett.ai 媒体合作: marketing@moffett.ai

关于墨芯

墨芯提供云端和终端AI芯片加速方案,相较于现有产品算力,墨芯产品将带来数量级提升。

Copyright © 2024
墨芯人工智能科技 (深圳) 有限公司
All rights reserved.
粤ICP备2021128059号

微信公众号