大家好，感谢邀请，今天来为大家分享一下浪潮AI服务器再夺MLPerf 数据中心推理全冠的问题，以及和的一些困惑，大家要是还不太明白的话，也没有关系，因为接下来将为大家分享，希望可以帮助到大家，解决大家的问题，下面就开始吧！

2022年4月7日，全球权威AI基准MLPerf公布了最新的AI推理（Inference）V2.0榜单。浪潮AI服务器以最高性能包揽数据中心（固定任务）全部16项冠军。

MLPerf由图灵奖获得者David Patterson和顶尖学术机构共同创立。它是全球最权威的人工智能性能基准。每年组织两次AI推理和AI训练测试，衡量行业的快速增长。及时跟踪和评估AI计算需求和性能。 MLPerf竞赛通常分为两类任务：固定任务（Closed）和开放优化（Open）。开放优化能力重点测试参与厂商的AI技术创新，而固定任务则更加公平地测试参与厂商的硬件系统和性能。软件优化能力成为更有价值的AI性能基准测试。

这是2022年MLPerf的首次AI推理性能评测，旨在检验不同厂商的计算系统在各种AI任务中的推理速度和能力。本次评选，在竞争最激烈的数据中心（固定任务）赛道上，共提交了926份成绩，是上届比赛的两倍，竞争非常激烈。

浪潮AI服务器推理性能再创新高

此次MLPerf人工智能推理性能评估涵盖了图像分类、自然语言理解、语音识别、目标物体检测、医学图像分割和智能推荐等六大广泛使用的人工智能场景。每个场景都使用最主流的AI模型作为测试任务，分别是ResNet50、BERT、RNNT、SSD-ResNet34、3D-Unet和DLRM。 MLPerf测试要求模型推理准确率达到99%以上。针对自然语言理解、医学图像分割和智能推荐这三个任务，设置了99%和99.9%两个精度要求，以考察AI推理精度要求提高时的计算性能。影响。

为了更贴近实际应用情况，MLPerf推理测试在数据中心赛道设置了离线（Offline）和在线（Server）两种模式。离线模式意味着任务所需的所有数据都可以在本地获得。典型场景是大批量的医学图像样本存储在本地等待统一识别。在线模式体现了大多数实时AI应用，数据和请求以突发、间歇的方式在线传递，例如用户浏览购物网站时进行智能推荐的推理请求。

此次浪潮AI服务器表现出色，以最高性能包揽MLPerf数据中心（固定任务）赛道全部16项冠军。

在本次MLPerf测试中，浪潮AI Server在ResNet50模型任务中创下了每秒处理449,856张图像的性能记录，相当于仅用2.8秒就完成了ImageNet数据集中128万张图像的分类；在3D-UNet 模型任务中，创下了每秒处理36.25 张医学图像的新纪录，相当于在6 秒内完成了KiTS19 数据集207 张3D 医学图像的分割；在SSD-ResNet34模型任务中，它创造了每秒11,081.9张图像的记录。目标物体图像识别与定位新纪录；在BERT模型任务中，创下了平均每秒完成38,776.7个问题和答案的性能记录；在RNNT模型任务中，它创下了每秒将155,811个语音片段转换为文本的性能记录。在DLRM模型任务中，它创造了每秒实现2,645,980次点击预测的最佳性能记录。

此外，该MLPerf 评估还具有边缘推理轨道。浪潮针对边缘场景设计的AI服务器也表现出色，在边缘固定任务赛道全部17项任务中斩获11项冠军。

随着人工智能应用在各行业不断深入，更快的推理速度将带来更高的人工智能应用效率和能力，加速行业的智能化转型。与半年前的MLPerf人工智能推理榜单V1.1相比，浪潮AI服务器在图像分类、语音识别、自然语言理解任务的推理性能分别提升了31.5%、28.5%和21.3%，这意味着浪潮AI服务器自动在驾驶、语音会议、智能问答、智能医疗等场景中，更高效、更快速地完成各种智能任务。

全栈优化能力助推AI性能持续提升浪潮AI服务器在MLPerf基准评测中的优异表现，得益于浪潮信息优秀的AI系统设计能力和全栈优化能力。

参与评测的浪潮AI服务器NF5468M6J拥有出色的系统设计。业界率先支持12颗NVIDIA A100 Tensor Core GPU，采用分层可扩展计算架构，并以优异的性能成绩夺得12项冠军。浪潮信息也是本次MLPerf大赛中唯一能够提供支持8颗500W NVIDIA A100 GPU并实现风冷和液冷两种散热方式的服务器的厂商。在参加本次比赛的8款GPU NVLink高端主流机型中，浪潮AI服务器在数据中心16项任务中取得了14项最佳成绩，展现了其在高端机型中的领先优势。其中，NF5488A5是全球首款推出的A100服务器，在4U空间内支持8个第三代NVlink互连的NVIDIA A100 GPU和2个AMD Milan CPU。 NF5688M6是一款专为大型数据中心优化的具有极高扩展性的AI服务器。支持8个A100 GPU和2个Intel Icelake CPU，最多支持13个PCIe Gen4 IO扩展卡。

在硬件层面，浪潮AI Server通过对CPU、GPU硬件性能的精细校准和全面优化，使CPU性能、GPU性能以及CPU与GPU之间的数据路径都处于AI推理的最佳状态；在软件层面，结合GPU硬件拓扑对多GPU的轮询调度优化，实现了单卡到多卡性能的近似线性扩展；在深度学习算法层面，结合GPU Tensor Core单元的计算特点，自主研发的通道压缩算法成功实现了最终的模型性能优化。

浪潮信息是全球领先的AI计算厂商，AI服务器市场份额全球第一，连续五年以超过50%的市场份额位居中国AI服务器市场第一。浪潮信息致力于AI计算平台、资源平台、算法平台的研发与创新，携手领先合作伙伴通过元脑生态加速数据与现实的融合。