Skip navigation

国际开放测试基准与标准委员会(国际测试委员会)

 

国际开放测试基准和标准委员会(BenchCouncil,国际测试委员会)是一个非营利性的国际研究机构,旨在促进开源芯片、人工智能、大数据和区块链等新技术的评价、验证、研讨、孵化和推广。自成立以来,其主要职责如下:

  • (1) 发布权威的测试标准(Benchmarks)和指数,引领人工智能、计算机、金融、教育、医疗等科技产业的良性发展
  • (2) 采用数据驱动、智能启发和基于Benchmark的量化方法来解决多学科的挑战
  • (3) 孵化项目,并托管BenchCouncil的顶级项目,鼓励使用BenchCouncil发布的Benchmark从事结论可靠和可验证的研究

What's New:

10/09/2020: 2020年智能计算与区块链多学科联邦大会开放注册日程及演讲嘉宾持续更新中。早鸟票注册优惠截止至2020年10月23日。

09/08/2020: 基于AIBench的训练性能排行榜发布。性能榜单使用AIBench子集(Image Classification, Object Detection, and Learning to Rank)作为基准,评测了多种型号的TPU和GPU。AIBench评测方法提供了三个赛道:系统赛道、硬件赛道和自由赛道,本排行榜基于系统赛道。AIBench相关负载介绍和评测方法详情见AIBench技术报告

08/13/2020: Bench'20投稿截止时间: 2020年8月15日 23:59:59 (Anywhere on Earth).

07/12/2020: Bench'20论文截止日期延长到2020年8月15日 Bench'20将于2020年11月14-16日在美国亚特兰大举办。主题是大数据、AI、区块链、HPC、数据中心、IoT、边缘计算等领域的基准评测和优化。Bench'20会议将颁发BenchCouncil成就奖(3000美元)、BenchCouncil新星奖(1000美元)、以及BenchCouncil最佳论文奖(1000美元)。

07/03/2020: 首个智能超级计算机榜单HPC AI500发布Fujitsu居HPC AI500榜首,性能达 31.41 Valid PFLOPS(新指标,兼顾FLOPS和模型精度)。HPC AI500AIBench(当前最综合的人工智能测试基准,包含十七个人工智能任务)中选择两个最有代表性和重复性的Benchmark:图像分类和目标检测(极端天气分析),包括三个赛道:硬件、系统及自由(仅定义问题)。发布榜单采用图像分类(ImageNet/ResNet50),赛道为自由赛道。

06/30/2020: HPC AI500: The Methodology, Tools, Roofline Performance Models, and Metrics for Benchmarking HPC AI Systems. 该技术报告提出了一种全面的智能超算领域的基准测试构建方法,能够实现基准测试的等价性、相关性、代表性、可负担性以及可重复性。使用上述方法,我们开源了一套智能超算评测基准HPC AI500,同时也提出了适用与智能超算系统评测和优化的屋顶模型。我们提出了两个新指标: Valid FLOPS和valid FLOPS per watt,用于排名智能超算系统的性能和能耗。实验结果表面我们的构建方法、基准测试程序、屋顶模型和指标能够易于评测、优化并排名智能超算系统,同时也具备可扩展性。

06/22/2020: 国际测试委员会智能计算机与区块链多学科联邦大会 (FICC, 2020年10月30日-11月2日在山东青岛召开) 论文征集. 论文提交地址 (五个独立的会议使用同一提交地址,不同的track, 截止日期: 2020年8月15日)。 五个会议分别是: 国际测试委员会智能计算机大会(IC 20), 国际测试委员会区块链大会(BChain 20), 国际测试委员会智慧医疗科技大会(MedTech 20), 国际测试委员会金融科技大会(FinTech 20), 和 国际测试委员会教育科技大会(EduTech 20). 另外两个会议本次不征集论文,包括 国际测试委员会芯片大会(Chips 20)国际测试委员会评估、仿真与测试大会 (ESTest 20).

06/22/2020: Bench'19发表刊物. 免费获取截止至2020年7月31日。刊物收录了Bench’19常规论文以及使用AIBench在寒武纪、RISC-V、X86等平台上评测优化的优秀竞赛论文。

04/30/2020: AIBench: An Industry Standard AI Benchmark Suite from Internet Services (组件级基准测试技术报告). 该技术报告提出了一种权衡不同阶段评测需求以及性能排名的基准测试构建方法。我们调研并构建了17种典型的AI任务,从而保证基准测试的多样性和代表性。同时,为了降低基准测试的评测成本,同时又保留多样性和代表性,我们选取了仅包含3个任务的基准测试子集。实验表明AIBench在模型复杂度、计算复杂度(FLOPs)、收敛特性、微体系结构计算和仿存特征、热点函数覆盖等方面均比相关工作MLPerf更具有典型性和覆盖性。

04/27/2020: Bench'20论文征集 (截止日期: 2020年7月15日)。 Bench'20 将于2020年11月14-16日在美国亚特兰大举办。主题是大数据、AI、区块链、HPC、数据中心、IoT、边缘计算等领域的基准评测和优化。Bench'20会议将颁发BenchCouncil成就奖(3000美元)、BenchCouncil新星奖(1000美元)、以及BenchCouncil最佳论文奖(1000美元)。

03/03/2020: ACM编程语言和操作系统顶级会议(ASPLOS 2020)上AIBench Tutorial日程更新. 本次tutorial介绍了敏捷式基准测试构建方法,真实工业场景应用中提炼的十种端到端应用场景,AIBench框架和端到端、组件级、微测试标准,以及使用AIBench的初步实验结果。另外,Tutorial提供一系列视频演示如何在一个公开的测试床上使用AIBench。所有的Tutorial相关报告和录制视频均可公开获取和访问。同时,各个报告的独立链接均更新在Tutorial主页

02/22/2020: 高性能计算架构国际会议(HPCA 2020)上AIBench Tutorial日程更新. 本次Tutorial介绍了现代负载特征分析的挑战性、工业界需求、基准测试动机、以及AIBench框架和基准测试程序集。另外,Tutorial提供一系列视频演示如何在一个公开的测试床上使用AIBench。所有的Tutorial相关报告和录制视频均可公开获取和访问。同时,各个报告的独立链接均更新在Tutorial主页

02/17/2020: BenchCouncil AIBench技术报告更新 AIBench提出了一种加速软硬件协同设计的敏捷式领域相关基准测试方法。基于该方法,AIBench联合17家工业伙伴抽取了10个重要的端到端应用场景,提炼了这些场景中16种代表性的AI任务从而构建组件级测试基准,并抽象了组件级基准中频繁出现的14个基本操作单元作为微测试基准。组件级基准的排列执行构成了端到端基准,它是工业级端到端应用场景的关键路径和核心模块刻画。AIBench提供了由AI相关和非AI相关组件、在线服务、离线训练、自动部署工具、数据输入等模块组成的可复用基准测试框架,支持端到端测试基准的快速构建。

12/20/2019: BenchCouncil人工智能测试标准规范征集评论意见:AIBench标准规范HPC AI500标准规范Edge AIBench标准规范AIoTBench标准规范

12/02/2019: 2020国际测试基准与标准大会Bench'20网站上线 (2020年11月14-16日,美国佐治亚州亚特兰大)。

12/02/2019: 2020国际智能计算与区块链联邦大会(FICC 2020)网站上线。FICC 2020大会主题为“智能加速,链接未来“,拟于2020年6月29日-7日3日在山东青岛举办,会议由独立的五个大会组成,分别是国际智能计算机大会(IC 20),国际智慧医疗科技大会(MedTech 20),国际区块链大会(BChain 20),国际金融科技大会(FinTech 20),以及国际教育科技大会(EduTech 20)。

12/02/2019: 2019国际芯片大会(Chips 2019)注册开放。 Chips 2019旨在构建自主可控和开放的芯片产业,在实现芯片等关键技术自主可控的同时,充分利用国际分工协作,提高芯片产业发展的可持续性。

11/19/2019: BenchCouncil’s View On Benchmarking AI and Other Emerging Workloads (技术报告BenchCouncil SC BoF报告分享)。This paper outlines BenchCounci’s view on the challenges, rules, and vision of benchmarking modern workloads. We conclude the challenges of benchmarking modern workloads as FIDSS (Fragmented, Isolated, Dynamic, Servicebased, and Stochastic), and propose the PRDAERS benchmarking rules that the benchmarks should be specified in a paper-and-pencil manner, relevant, diverse, containing different levels of abstractions, specifying the evaluation metrics and methodology, repeatable, and scaleable. We believe proposing simple but elegant abstractions that help achieve both efficiency and general-purpose is the final target of benchmarking in future, which may be not pressing. In the light of this vision, we shortly discuss BenchCouncil’s related projects.

11/16/2019: Tony Hey教授荣获BenchCouncil成就奖 Tony Hey教授是拉塞福-阿普顿实验室首席数据科学家, 是2019年BenchCouncil成就奖获得者。

11/14/2019: 国际芯片大会Chips 2019 (12月18-20日 @ 北京)上线。2019国际芯片大会由BenchCouncil和中国科学院院刊组织,旨在探讨芯片行业的关键技术和软硬件生态,构建自主可控和开放的芯片产业。

10/28/2019: 欢迎注册Bench'19会议Bench'19会议日程更新。

10/23/2019: AIBench代码开源

10/23/2019: AIBench技术报告更新

10/16/2019: Bench 18论文集上线

10/16/2019: 征集BenchCouncil成就奖提名

10/06/2019: 征集BenchCouncil系统奖提名

09/26/2019: 智能芯片性能榜发布。

09/17/2019: SC 19 BoF

09/07/2019: Bench 19 会议开放注册

09/05/2019: Bench 19 竞赛论文提交系统已开放。

09/02/2019: HPC AI500Edge AIBench网站更新。

08/12/2019: 工业标准的人工智能测试标准AIBench, 智能超算人工智能测试标准HPC AI500, IoT人工智能测试标准AIoTBench, 边缘计算人工智能测试标准Edge AIBench已发布。

08/12/2019: 大数据测试标准BigDataBench更新。

06/27/2019 - 06/29/2019: 智能计算机大会BenchCouncil 2019在深圳成功举办。

05/01/2019: BenchCouncil竞赛开放注册

2019-04-09 18:36:55 广州日报报道: 世界权威机构将联合发布人工智能评测标准

2019-04-09 18:10 新华网报道: 2019年世界智能计算机大会将于6月在深圳举办

2019-04-09 21:39 光明日报报道: 世界智能计算机大会聚焦人工智能

2019-04-09 22:32 南方Plus报道: 深圳将举办2019年世界智能计算机大会

2019-04-09 23:00 亿欧报道: 2019世界智能计算机大会将在深举办,汇聚中国方案和世界智慧

2019-04-09 19:19:14 科技日报报道: 2019年世界智能计算机大会首次在我国举办

2019/04/09 21:02 读创科技报道: 2019年世界智能计算机大会将于6月在深圳举办

2019-04-09 19:00 深圳晚报报道: 拥抱智能 计算未来” 深圳将举办 2019 年世界智能计算机大会

2019-04-10 深圳特区报报道: 2019年世界智能计算机大会将在深举办

2019-04-10 11:27:00 央广网报道: 2019年世界智能计算机大会6月深圳召开

03/13/2019: 智能计算机大会BenchCouncil 2019网站上线。

03/07/2019: Bench'19 is online for paper submission.

02/17/2019: BigDataBench在HPCA'19上举行一天的Tutorial, 报告PPT可开放下载。

02/16/2019: Tutorial: BigDataBench 5.0将在HPCA'19会议进行。

12/20/2018: 电力负载生成工具已发布,可公开下载使用。

12/18/2018: 测试基准与标准提议在Bench 18会议上进行报告和讨论,报告PPT可公开下载

12/11/2018: Bench'18最佳论文: EC-Bench: Benchmarking Onload and Offload Erasure Coders on Modern Hardware Architectures Haiyang Shi, Xiaoyi Lu, Dhabaleswar K. (DK) Panda, The Ohio State University

12/01/2018: 国际测试基准与标准大会Bench19 (2019 International Symposium on Benchmarking, Measuring and Optimizing)将在美国丹佛举办。

11/15/2018: 世界智能计算机大会BenchCouncil 2019将于今年六月在中国举办.

11/01/2018: BenchCouncil收到来自中国、美国及欧洲等著名研究团队的九项测试基准与标准提议

06/01/2018: Bench 2018会议将在IEEE Big Data 2018共同举办。

[更多新闻]