围不雅新MLPerfAI推理冠军，两家外乡办事器 你选谁一路过？

（ChinaIT.com讯）有人说，办事器是互联网的魂魄。进入人工智能期间，AI办事器便是统统规律运行的基础。

依据IDC最新公布的2020H1《环球人工智能市场半年度追踪陈诉》表现，现在2020年上半年环球人工智能办事器市场范围达55.9亿美元。机构猜测，将来AI办事器将连结高速增进，在2024年环球市场范围将到达251亿美元。

站在期间的风口上，气力厂商谁也不甘落伍。是以，我们既看到了传统办事器厂商在AI范畴阔步前行，也看到新锐气力在期间更替中的强势崛起。终究，你我都清晰知道：在大变局的情势之下，统统皆有大概。

作为权衡AI办事器的尺度，现在，MLCommons每年构造2次MLPerf AI练习性能测试和2次MLPerf AI推理性能测试，为用户权衡设置装备摆设性能提供权势巨子有用的数据引导。而MLPerf是影响力最广的国际AI性能基准评测，备受业界存眷和器重。

MLPerf再放新榜 两国产物牌均获超15项第一

美国平静洋时间9月22日10点，采纳最新InferenceV1.1尺度的MLPerf 推理测试结果公布，总计凌驾10家国际着名办事器厂商的数十种产物参加了本次测试。

MLPerf推理V1.1 AI基准测试牢固使命(Closed)包罗数据中间(共16个项目)和边沿(共14个项目)两大场景。在数据中间场景下设置6个模子，分别是图像辨认（ResNet50）、医学影像支解（3D-UNet）、目的物体检测（SSD-ResNet34）、语音辨认（RNN-T）、天然说话了解（BERT）以及智能推举（DLRM），此中Bert、DLRM和3D-Unet设有高精度（99.9%）模式。

除3D-UNet模子使命只观察Offline离线推理场景性能外，其他模子使命根据Server在线推理和Offline离线推理两种应用场景分别举行性能测试。边沿场景AI模子在数据中间场景的6个模子底子上删减了智能推举（DLRM）模子，并增添目的物体检测（SSD-MobileNet）模子，全部模子均有Offline离线推理场景和SingleStream单流推理两个场景。

23日，海潮公布得到15项冠军；同日，宁畅公布取得统共21项第一结果。

海潮在本次MLPerf比赛得到15项环球第一，涵盖医学影像辨认、天然语义了解、图像辨认、语音辨认、智能推举、目的物体检测（SSD-ResNet34）以及目的物体检测（SSD-MobileNet）全部7项AI模子使命，从云到边全面领先。

海潮连续提拔数据中间场景下MLPerf各项使命性能结果，即便在雷同办事器设置装备摆设下各项使命结果依旧得到较大改进，如图像辨认(ResNet50)和语音辨认(RNN-T)的模子性能分别较半年前的V1.0比赛结果提拔了4.75%和3.83%。

宁畅X620G40与X640 G40人工智能办事器,在closed(关闭)赛段的3D-UNet99、ResNet-50与SSD-large等模子测试中,共取得21项第一结果。

除X620 G40外，宁畅X640G40人工智能办事器，不但团体AI性能取得全部16个推理模子第一结果，均匀单卡性能也取得12个模子的最好结果。

值得细致的是，这是继7月份以来，海潮和宁畅再次连任多项第一结果，两者在AI办事器范畴的气力再次得到验证，不容小觑。

海潮连续登高 宁畅重新锐到职位地方稳固

海潮公布消息中传播：“海潮一连第四次位居MLPerf™ AI基准测试冠军数目榜首。”

宁畅表现：“自2020年以来至今，宁畅AI办事器在到场的三次MLPerf推理与练习测试中，已取得了53项第一结果，并冲破AI办事器天下性能多项记录。”

作为老牌和新锐办事器厂商，海潮和宁畅天然不会放过任何一次评比得时机，搜刮一下，我们能清楚地查阅到海潮参赛得脉络。

2020年美国东部时间10月21日，环球备受瞩目标权势巨子AI基准测试MLPerf颁布本年的推理测试榜单，海潮AI办事器NF5488A5一举制造18项性能记录，在数据中间AI推理性能上遥遥领先其他厂商产物。

同日，宁畅AI办事器X640传播：首登MLPERF，斩获30项AI性能天下第一，同GPU设置装备摆设测试获16项天下第一。

2021年6月30日，国际权势巨子AI性能基准评测平台MLPerf，公布了基于Training V1.0 的最新尺度测试效果。

海潮 NF5688M6和NF5488A5在牢固使命赛道8大场景中一共劳绩4项冠军。

宁畅AI办事器X640 G40和X660 G45在牢固使命（closed）赛道8大场景测试中劳绩两大场景天下冠军。

NF5688M6是面向大范围数据中间优化设计的具备极致扩展本领的AI办事器，支持8颗A100 GPU和两颗Intel Icelake CPU，支持多达13张PCIe Gen4的IO扩展卡；

依据公然资料，自2020年至今2021年7月，海潮参加了MLPerf™ trainingv0.7, Inference v0.7, Inference v1.0, training v1.0四次比赛。已经累计斩获41项冠军。

再加上这一次，得到15项冠军，海潮4次总计得到56个第一。宁畅此次取得统共21项第一结果，3次参赛总计得到53个第一，冠军总数海潮略有胜出，但从单次均匀获奖数目来看，宁畅技高一筹。难分昆季。

我们不丢脸出，海潮在AI办事器范畴连续发力，而宁畅则被贴上行业黑马、独角兽厂商的标签。从结果来看，宁畅在AI办事器范畴，气力职位地方渐渐稳固。

MLPerf测试结果的背后 代表的不但仅是性能

28天前，国际权势巨子数据中间媒体The Next Platform 针对环球权势巨子AI基准测试MLPerf公布报道《MLPerf为何益于AI和你》。

报道中说：“当您采购设置装备摆设时，每每担忧三件事——性能、性价比和总体拥有本钱。假如没有权衡性能的基准，也没有对产物代价的公道推断，就不克不及估算总体拥有本钱，更不知将预算投往那边。”

文章结论是：“这个题目也同样实用于运行AI 应用步伐的办事器体系，这便是MLPerf 基准测试被看重的缘故原由。”

假如我们回溯到最新的测试结果来看：搭载8颗NVIDIA® A10 Tensor Core GPU宁畅X620 G40分别以3D-UNet99模子崎岖精度 179；ResNet-50离线模子97016；SSD-large在线、离线模子2500、2051的测试分数，取得2U人工智能办事器的五项第一结果，成为本次测试中得到第一结果最多的2U高度AI办事器。

这些分数背后的意义：3D-UNet得分意味着可以或许每秒完成170余次三维医学图像的支解，且精度高达99.9%；ResNet得分意味着可以或许每秒完成近10万张图片中各个事物种别的海量辨认；SSD评分代表了离线场景下每秒可完成2500张图片中信息的分类、定位与精准检测、在线场景下每秒可应答2000余次及时目的检测的推理使命。

搭载10块NVIDIA® A30 Tensor Core GPU的宁畅X640 G40人工智能办事器，更将4U办事器性能发挥到极致。相比力其他搭载8块NVIDIA® A30 GPU的办事器，宁畅X640 G40不但团体AI性能取得全部测试模子第一结果，均匀单卡性能也取得12项冠军。

再来看海潮，海潮取得这次MLPerf比赛佳绩的三款AI办事器，分别是NF5488A5、NF5688M6及NE5260M5。

NF5488A5是环球首批上市的A100办事器，在4U空间支持8颗第三代NVlink互联的A100 GPU和2颗AMD Milan CPU，同时支持液冷和风冷散热技能；

NF5688M6是面向大范围数据中间优化设计的具备极致扩展本领的AI办事器，支持8颗A100 GPU和两颗Intel Icelake CPU，支持多达13张PCIe Gen4的IO扩展卡；

NE5260M5通过极致优化的信号和电源等体系设计，兼容高性能CPU和多种AI加快卡，通过减震降噪优化和严苛的可靠性测试，机箱深度430mm较一般办事器收缩近二分之一，餍足空间受限的边沿盘算场景摆设需求。

2021年4月23日，MLPerf构造公布最新的MLPerf Inference v1.0效果，安培架构A100 Tensor Core GPU颠末半年的优化，可将AI练习时间从数周收缩到几小时，明显加速了推理速率，无疑助力推动了整个AI行业的进展。

MLPerf的Benchmark证明白A100 GPU性能，但其不菲的售价也让很多公司必要量力购置。

其时，媒体报道：“更具性价比的NVIDIA A30（功耗165W）和A10（功耗150W） GPU也在MLPerf Inference v1.0中首秀。”

A30 GPU强于盘算，支持遍及的AI推理和主流企业级盘算事情负载，如推举体系、对话式AI和盘算机视觉。

A10 GPU更偏重图像性能，可加快深度进修推理、交互式衬着、盘算机帮助设计和云游戏为混淆型AI和图形事情负载提供支持。

A100 GPU第一的海潮，A30、A10GPU第一的宁畅，你选择谁和你过日子？

结 语

随着国度加快新型底子办法设置装备摆设，AI将会加快与交通、能源、制造等行业融合，进而撬动经济增进。AI办事器必将为千行百业提供新动能。

据IDC数据，现在中国AI办事器已经成为环球人工智能财产进展的中坚气力。2020年中国人工智能底子办法市场范围到达39.3亿美元，同比增进26.8%。此中，AI办事器市场范围占团体人工智能底子办法市场的87%以上，并连续连结高速增进。机构猜测，中国AI办事器市场将来将占环球AI办事器市场的三分之一左右。

作为20多年ICT媒体老炮，我非常欣喜地看到海潮连续创新，同样非常欣喜地看到宁畅在极短的时间内成为新的中坚气力。

将来已来。AI期间，你与谁一路前行？

来。AI期间，你与谁一路前行？