Skip navigation

国际开放测试基准与标准委员会(国际测试委员会)

 

智能超级计算机性能榜

HPC AI500榜单, 图像分类负载, 自由赛道, 2020年7月2日




数据来源于BenchCouncil的收集,技术委员会未复核数据,相关技术细节参见HPC AI500技术报告

  • Valid FLOPS (VFLOPS)指标。 HPC AI 500采用VFLOPS作为主要的性能指标。VFLOPS是一个兼顾系统吞吐和模型精度的指标,计算公式如下:VFLOPS = FLOPS * (achieved_quality/target_quality)^n。其中,achieved_quality指的是在实际测试中负载达到的精度;target_quality指的是HPC AI500问题域定义的目标精度;n指的是负载对于精度的敏感度,在图像分类中默认设置为5。
  • 方法学。 HPC AI500基于9层的系统抽象定义了一套完整的测试方法学(如图1所示),分为以下三个赛道,分别为硬件赛道,系统赛道和自由赛道。下文描述了这三个赛道的目的及其相关规则。榜单测试基于自由赛道。自由赛道的目的是为了促进软硬件协同设计。在这个赛道中,用户可以在HPC AI500规定的问题域中进行任何优化 (层1-8)。
  • 图 1: HPC AI500基准测试方法学。


数据中心AI性能榜

AIBench榜单(Image Classification, Image-to-Image, Speech Recognition, Object Detection, Image-to-Text, and Face Embedding), 2019年9月26日

单GPU训练性能

多GPU训练性能

单GPU推理性能

  • 指标。 该性能榜单使用吞吐量作为训练性能指标,使用推理所耗时间作为推理性能指标。
  • 方法学。 数据中心AI性能榜使用AIBench进行排名。AIBench是目前最综合最全面的人工智能测试基准。AIBench测试方法学的具体细节可参考AIBench技术报告. 我们选取了AIBench中的六个典型负载对八种不同系列、不同架构、不同显卡容量以及不同售价的GPU进行性能排名。

AIoT性能榜

AIoTBench榜单, 图像分类负载, 2020年5月7日

RankDeviceSoCsProcessRAMAndroidAI Score
VIPSVOPS
1Galaxy s10eSnapdragon 8557nm6GB9140.40151.19G
2Honor v20Kirin 9807nm8GB982.7392.79G
3Vivo nexSnapdragon 71010nm8GB9 45.1148.05G
4Vivo x27Snapdragon 71010nm8GB944.6147.87G
5Oppo R17Snapdragon 67010nm6GB8.133.4034.15G
  • 指标。 AIoT性能榜使用两个指标: Valid Images Per Second (VIPS)和Valid FLOPs Per Second (VOPS)。 VIPS是一个用户层或应用层的指标,表示每秒可以处理的图片数量。VOPS是系统层的指标,表示系统的有效计算性能。


  • 方法学。 AIoTBench关注图像分类任务,测试方法学细节可参考AIoTBench技术报告。我们使用ImageNet中的5000张图片作为输入数据集,评测了六种不同的图像分类模型,包括ResNet50, InceptionV3, DenseNet121, SqueezeNet, MobileNetV2, MnasNet。针对每一种模型,我们评测了Pytorch Mobile, Caffe2, Tensorflow Lite with CPU以及 Tensorflow Lite with NNAPI delegate版本。