高通公用AI芯片的合作格式阐发

客岁，高通大事宣传Cloud AI 100，并答应它具有壮大的性能和能效，可以在边沿盘算、主动驾驶汽车和5G底子办法中实现人工智能。今日，高通公布如今正对该平台举行采样，并打算于2021年上半年实现批量出货。

这就引出了一个题目：为什么一家以低功耗手机芯片和IP有名的公司决定进入数据中间市场？要知道谁人市场里已经有不少拥有几十年汗青的老玩家了。

高通恒久以来一向存眷数据中间办理方案，以为该行业有吸引力的增进和利润率是增添收入的潜伏泉源。它的电源服从和性能方案非常得当扩展到数据中间产物，而人工智能的爆炸式增进是一个抱负的切入点。别的，高通5G调制解调器和Snapdragon应用处置惩罚器可以关心该公司构建完备的办理方案，从而幸免与仅有人工智能 SoC的、范围较小的公司正面举行代价战。高通估量，到2025年，用于人工智能推理处置惩罚的SAM大概凌驾700亿美元，此中约500亿美元在Cloud AI 100的目的市场空间中。

▲图1: Cloud AI100对准了中高性能应用的高利润细分市场

高通公布了什么？

除了公布生产时间表外，高通还分享了AI 100芯片及其计划出售的交付平台的技能细节和一些规格参数。高通打算提供一系列设置装备摆设，包罗一个仅斲丧15瓦TDP的70 TOPS M.2边沿卡，一个以25W功率运行的200 TOPS M.2卡以及一个数据中间级PCIe平台，可以或许提供400 TOPS的性能，功耗仅为75W，能效高达8 TOPS/Watt。

▲图2: 新的Cloud AI 100和Edge AI开辟套件产物简介

高通还展示了新的5G开辟套件，该套件打算于下个月上市。新的Cloud Edge AI开辟套件陪同的是高通的X55 5G调制解调器-RF体系和顶级Snapdragon 865处置惩罚器。想相识有关该套件的更多规格信息，请拜见图2。

竞争格式

英特尔至强系列处置惩罚器在人工智能推理市场上据有着主导职位地方，但是随着人工智能模子变得越来越庞大，这种情形正在产生改变。行业构造ai.org估量，人工智能模子的巨细每3.5个月翻一番。这为英伟达之类的公司以及数十家首创企业制造了餍足这些盘算要求的时机。只管高通并没有将Blaize和Tenstorrent的最新通告纳入此中。便是说，Cloud AI100看起来在该范畴具有领先上风，在Resnet50模子上可以每秒处置惩罚约25,000张图片，而功耗只必要75W。我要指出，Resnet50是一个很小的基准，尤其是与谷歌的BERT等天然说话处置惩罚模子相比的时间更是云云。但是，在雷同基准下，Cloud AI 100 M2的每瓦性能约莫是前“推理之王”——英特尔Goya的每瓦性能的四倍，这仍旧令人印象深刻。

▲图3：高通提供的ResNet-50 Benchmark效果阐发

在谈到更大、更庞大的模子时，高通明显估计必要更多的内存。该芯片的144MB片上SRAM增补了PCIe卡上高达32 GB的LPDDR4。别的，该芯片还支持一系列数字精度，包罗8位和16位整数以及16位和32位浮点数学运算。

至于软件，通常会是人工智能首创企业的致命缺点，Cloud AI 100充实使用了高通富厚的移动推理生态体系，而且已经提供了完备的框架和优化东西库。

▲图4：新AI芯片配备完备的软件货仓黑白常不平常的，但是高通Snapdragon为Cloud AI 100摊平了门路

人工智能芯片的“寒武纪生命大爆炸”（Cambrian Explosion）连续不停，随着这次的消息公布，新的重量级竞争者显现了。假如高通公布的400 TOPS性能得到了证明，那这就将是我见过的、最快的用于推理处置惩罚的芯片。也便是说，我们将不得不等候GROQ的正式官宣，评释它的产物大概处于统一性能程度，但是功率却要大得多，而Tenstorrent在近来的HotChips集会上提出了一些有味的人工智能要领。别的，我们仍旧在等候英特尔和SambaNova等公司的细致信息。我也非常有兴趣得到更多NVIDIA A100在多实例GPU功效方面的性能数据，该功效可以在七个推理实例上分摊大型GPU的本钱和功效。我信赖这种要领在数据中间具有庞大的潜力。

除了规格之外，我信赖很多客户会选择与一家老牌半导体公司（比方高通）而不是与一家首创公司举行营业往来——除非年轻的公司可以或许提供好得多的性能和服从。高通依附着多年在Snapdragon上的履历，为人工智能推理处置惩罚提供了坚固的质量、性能、服从、支持和美满的软件生态体系。这是一个壮大的条件，我期望看到更多的基准测试效果。让这场“寒武纪生命大爆炸”陆续下去吧！