智能超级计算机性能榜
HPC AI500榜单, 图像分类负载, 自由赛道, 2020年7月2日
数据来源于BenchCouncil的收集，技术委员会未复核数据，相关技术细节参见HPC AI500技术报告
- Valid FLOPS (VFLOPS)指标。 HPC AI 500采用VFLOPS作为主要的性能指标。VFLOPS是一个兼顾系统吞吐和模型精度的指标，计算公式如下：VFLOPS = FLOPS * (achieved_quality/target_quality)^n。其中，achieved_quality指的是在实际测试中负载达到的精度；target_quality指的是HPC AI500问题域定义的目标精度；n指的是负载对于精度的敏感度，在图像分类中默认设置为5。
- 方法学。 HPC AI500基于9层的系统抽象定义了一套完整的测试方法学（如图1所示），分为以下三个赛道，分别为硬件赛道，系统赛道和自由赛道。下文描述了这三个赛道的目的及其相关规则。榜单测试基于自由赛道。自由赛道的目的是为了促进软硬件协同设计。在这个赛道中，用户可以在HPC AI500规定的问题域中进行任何优化 （层1-8）。
图 1: HPC AI500基准测试方法学。
数据中心AI性能榜
AIBench训练榜单 (Image Classification, Object Detection, Learning to Rank), 系统赛道, 2020年9月8日
AIBench推理榜单(Image Classification, Image-to-Image, Speech Recognition, Object Detection, Image-to-Text, and Face Embedding), 2019年9月26日
Single-GPU Inference
- 指标。 训练性能榜单使用达到state-of-the-art模型精度所耗费的时间Time-to-Quality作为训练性能指标，推理性能榜单使用推理所耗时间作为推理性能指标。
- 方法学。 数据中心AI性能榜使用AIBench进行排名。AIBench是目前最综合最全面的人工智能测试基准。AIBench测试方法学包含三个赛道：系统赛道、硬件赛道、以及自由赛道。本性能榜单使用系统赛道进行排行。具体细节可参考AIBench技术报告。
AIoT性能榜
AIoTBench榜单, 图像分类负载, 2020年5月7日
| Rank | Device | SoCs | Process | RAM | Android | AI Score | |
|---|---|---|---|---|---|---|---|
| VIPS | VOPS | ||||||
| 1 | Galaxy s10e | Snapdragon 855 | 7nm | 6GB | 9 | 140.40 | 151.19G |
| 2 | Honor v20 | Kirin 980 | 7nm | 8GB | 9 | 82.73 | 92.79G |
| 3 | Vivo nex | Snapdragon 710 | 10nm | 8GB | 9 | 45.11 | 48.05G |
| 4 | Vivo x27 | Snapdragon 710 | 10nm | 8GB | 9 | 44.61 | 47.87G |
| 5 | Oppo R17 | Snapdragon 670 | 10nm | 6GB | 8.1 | 33.40 | 34.15G |
- 指标。 AIoT性能榜使用两个指标: Valid Images Per Second (VIPS)和Valid FLOPs Per Second (VOPS)。 VIPS是一个用户层或应用层的指标，表示每秒可以处理的图片数量。VOPS是系统层的指标，表示系统的有效计算性能。
- 方法学。 AIoTBench关注图像分类任务，测试方法学细节可参考AIoTBench技术报告。我们使用ImageNet中的5000张图片作为输入数据集，评测了六种不同的图像分类模型，包括ResNet50, InceptionV3, DenseNet121, SqueezeNet, MobileNetV2, MnasNet。针对每一种模型，我们评测了Pytorch Mobile, Caffe2, Tensorflow Lite with CPU以及 Tensorflow Lite with NNAPI delegate版本。
