Skip navigation

国际测试委员会(BenchCouncil)

 

国际开放测试基准和标准委员会(BenchCouncil,国际测试委员会)是一个非营利性国际组织。该组织旨在促进人工智能、大数据、芯片和区块链等新技术的评价、验证、研讨、孵化和推广。

BenchCouncil主要职责如下:

  • (1) 提倡采用数据驱动的量化方法解决多学科挑战。发布权威的数据集、测试基准、指数和性能榜,促进人工智能、计算机、金融、教育、医疗等新兴科技产业的良性发展。
  • (2) 促进测试基准、数据、标准、评估和优化社区的开放、包容和增长;孵化、托管项目;鼓励从事结论可靠和可验证的研究。

What's New:

04/13/2021: 计算机体系结构国际顶级会议ASPLOS 2021上的AIBench Tutorial将于4月14日举办(7am-11am PT and 4pm-8pm PT,北京时间14日晚上10点-15日凌晨两点,15日上午7点-11点)。Zoom链接:https://zoom.us/j/98791303035?pwd=Q3BvdUNjbjhhNmhGKzlyN3RkdEh1Zz09。欢迎大家积极参加并参与讨论。

04/13/2021: 人工智能测试基准AIBench项目主页更新。

04/02/2021: FICC 2020会议论文集上线。通过会议英文网站会议中文网站访问论文集可免费下载,免费截止到2021年4月22日。

03/12/2021: Bench'20会议论文集上线。 通过会议主页会议日程可免费下载,免费截止到2021年4月8日。

03/08/2021: AIBench Training论文定稿版发布, 论文已被ISPASS 2021录用。这篇论文系统总结了人工智能基准测试的挑战:成本挑战、需求冲突挑战、负载保质期短挑战、可扩展性挑战和可重复性挑战。AIBench是第一个系统全面地解决了上述挑战的人工智能测试基准:基于真实工业场景提炼和抽取,形成场景级、推理组件级、训练组件级、微基准级、以及合成的人工智能测试基准。AIBench Training使用具有代表性和全面性的真实负载覆盖庞大的参数空间,从而覆盖学习动力学特征。考虑到评测的成本,AIBench Training进一步提供具备可重复性的性能排名RPR子集,以及负载特征分析WC子集。

02/10/2021: 国际测试基准与标准Bench'21会议征集。Bench'21将于2021年11月14至16日举办。本届会议采用双盲评审并提供三次投稿机会。一经录用,论文将发表在BenchCouncil期刊TBench (BenchCouncil Transactions on Benchmarks, Standards, and Evaluation)上,并在Bench'21上进行论文报告。Bench'21会议将会颁发国际测试委员会成就奖(3000美元)、新星奖(1000美元)、以及最佳论文奖(1000美元)。如您有意向加入Bench会议的程序委员会(TPC),请邮件联系BenchCouncil执行委员会委员高婉铃gaowanling(at)ict(dot)ac(dot)cn.

02/10/2021: BenchCouncil发布新期刊《BenchCouncil Transactions on Benchmarks, Standards, and Evaluations (TBench)。TBench是一个专注于测试基准、标准、评测和数据集的支持开放获取的面向多学科的期刊。TBench采用双盲的同行评审方式,并追求平均两个月周期的快速发表。TBench刊物发表不收取论文处理费用。如您有意向成为TBench期刊的编辑委员(editorial board),请邮件联系TBench主编詹剑锋教授zhanjianfeng (at) ict (dot) ac (dot) cn,并发送您的简历和如何提升期刊质量的短期计划。

02/09/2021: 计算机体系结构国际顶级会议ISCA 2021上的AIBench Tutorial网站上线 AIBench tutorial旨在介绍BenchCouncil AIBench,一个全面的覆盖场景级、组件级、以及微算子级的,同时面向数据中心、高性能计算、IoT、边缘计算等多种领域的人工智能测试基准。我们将在BenchCouncil测试床上演示如何使用AIBench。

02/09/2021: AIBench Training论文被(ISPASS 2021录用。ISPASS会议是一个关于性能分析的高质量会议。被录用论文题目为"AIBench Training: Balanced Industry-Standard AI Training Benchmarking",论文最终版将尽快发布。论文摘要如下: Earlier-stage evaluations of a new AI architecture/system need affordable AI benchmarks. Using a few AI component benchmarks like MLPerf alone in the other stages may lead to misleading conclusions. This paper proposes a balanced benchmarking methodology. Performing an exhaustive survey on Internet service AI domains, we identify and implement seventeen representative AI tasks with state-of-the-art models to guarantee the diversity and representativeness of benchmarks. Meanwhile, we keep a benchmark subset to a minimum for affordability. We contribute by far the most comprehensive AI training benchmark suite with seventeen industry partners. The evaluations show: (1) AIBench Training outperforms MLPerf Training in terms of diversity and representativeness of model complexity, computational cost, convergent rate, computation, and memory access patterns, and hotspot functions; (2) Compared to the AIBench full benchmarks, its subset shortens the benchmarking cost by 54%, while maintaining the primary workload characteristics; (3) The performance ranking shows the single-purpose AI accelerator like TPU with the optimized TensorFlow framework performs better than that of GPUs, while losing the latter’s general support for various AI models. The AIBench Training specifications, source code, testbed, and performance numbers are publicly available from the AIBench project homepage.

12/24/2020: AIBench Tutorial on ASPLOS 2021 Website Online. We are invited by Dr. Tamara Silbergleit Lehman, Workshop and Tutorials chair of ASPLOS 2021 to give a full-day tutorial about BenchCouncil benchmarks. This tutorial aims at presenting BenchCouncil AIBench---a comprehensive AI benchmark suite for Datacenter, HPC, IoT and Edge. We also provide hands-on demos on how to use AIBench on the BenchCouncil testbed---an open testbed for AI in HPC, Datacenter, IoT, and Edge.

12/07/2020: 詹剑锋教授在Bench'20会议作AIBench and Its Performance Rankings报告 (视频链接PPT链接)。AIBench目前是最全面综合的人工智能测试基准,广泛面向数据中心、高性能计算、边缘计算、以及物联网等领域,提供了场景级测试基准、组件级训练测试基准、组件级推理测试基准等,从而满足不同领域不同层次的评测需求。基于AIBench,BenchCouncil已发布了智能芯片排行榜国际首个智能超算系统排行榜

11/15/2020: 苏黎世联邦理工大学Torsten Hoefler教授荣获2020 BenchCouncil新星奖。 Torsten Hoefler教授在基准测试、测量和优化领域作出了突出的贡献: “和 J. Domke一起提出了任意拓扑情况下最快的路由算法;与美国工程院院士Jack Dongarra等共同编写了最新版的MPI消息传递标准,并提出了一个深度学习框架和智能超算基准测试库Deep500”。

11/15/2020: 明尼苏达大学David J. Lilja教授荣获2020 BenchCouncil成就奖。 David J. Lilja教授在基准测试、测量和优化领域作出了长期的贡献:“系统总结了测量、仿真和分析建模的实用方法,并提出了适用于计算机体系结构仿真研究的测试基准MinneSPEC,开拓了软硬件交互和体系结构电路交互的方法来提高系统性能。”

10/09/2020: 2020年智能计算与区块链多学科联邦大会开放注册日程及演讲嘉宾持续更新中。早鸟票注册优惠截止至2020年10月23日。

09/08/2020: 基于AIBench的训练性能排行榜发布。性能榜单使用AIBench子集(Image Classification, Object Detection, and Learning to Rank)作为基准,评测了多种型号的TPU和GPU。AIBench评测方法提供了三个赛道:系统赛道、硬件赛道和自由赛道,本排行榜基于系统赛道。AIBench相关负载介绍和评测方法详情见AIBench技术报告

08/13/2020: Bench'20投稿截止时间: 2020年8月15日 23:59:59 (Anywhere on Earth).

07/12/2020: Bench'20论文截止日期延长到2020年8月15日 Bench'20将于2020年11月14-16日在美国亚特兰大举办。主题是大数据、AI、区块链、HPC、数据中心、IoT、边缘计算等领域的基准评测和优化。Bench'20会议将颁发BenchCouncil成就奖(3000美元)、BenchCouncil新星奖(1000美元)、以及BenchCouncil最佳论文奖(1000美元)。

07/03/2020: 首个智能超级计算机榜单HPC AI500发布Fujitsu居HPC AI500榜首,性能达 31.41 Valid PFLOPS(新指标,兼顾FLOPS和模型精度)。HPC AI500AIBench(当前最综合的人工智能测试基准,包含十七个人工智能任务)中选择两个最有代表性和重复性的Benchmark:图像分类和目标检测(极端天气分析),包括三个赛道:硬件、系统及自由(仅定义问题)。发布榜单采用图像分类(ImageNet/ResNet50),赛道为自由赛道。

06/30/2020: HPC AI500: The Methodology, Tools, Roofline Performance Models, and Metrics for Benchmarking HPC AI Systems. 该技术报告提出了一种全面的智能超算领域的基准测试构建方法,能够实现基准测试的等价性、相关性、代表性、可负担性以及可重复性。使用上述方法,我们开源了一套智能超算评测基准HPC AI500,同时也提出了适用与智能超算系统评测和优化的屋顶模型。我们提出了两个新指标: Valid FLOPS和valid FLOPS per watt,用于排名智能超算系统的性能和能耗。实验结果表面我们的构建方法、基准测试程序、屋顶模型和指标能够易于评测、优化并排名智能超算系统,同时也具备可扩展性。

06/22/2020: 国际测试委员会智能计算机与区块链多学科联邦大会 (FICC, 2020年10月30日-11月2日在山东青岛召开) 论文征集. 论文提交地址 (五个独立的会议使用同一提交地址,不同的track, 截止日期: 2020年8月15日)。 五个会议分别是: 国际测试委员会智能计算机大会(IC 20), 国际测试委员会区块链大会(BChain 20), 国际测试委员会智慧医疗科技大会(MedTech 20), 国际测试委员会金融科技大会(FinTech 20), 和 国际测试委员会教育科技大会(EduTech 20). 另外两个会议本次不征集论文,包括 国际测试委员会芯片大会(Chips 20)国际测试委员会评估、仿真与测试大会 (ESTest 20).

06/22/2020: Bench'19发表刊物. 免费获取截止至2020年7月31日。刊物收录了Bench’19常规论文以及使用AIBench在寒武纪、RISC-V、X86等平台上评测优化的优秀竞赛论文。

04/30/2020: AIBench: An Industry Standard AI Benchmark Suite from Internet Services (组件级基准测试技术报告). 该技术报告提出了一种权衡不同阶段评测需求以及性能排名的基准测试构建方法。我们调研并构建了17种典型的AI任务,从而保证基准测试的多样性和代表性。同时,为了降低基准测试的评测成本,同时又保留多样性和代表性,我们选取了仅包含3个任务的基准测试子集。实验表明AIBench在模型复杂度、计算复杂度(FLOPs)、收敛特性、微体系结构计算和仿存特征、热点函数覆盖等方面均比相关工作MLPerf更具有典型性和覆盖性。

04/27/2020: Bench'20论文征集 (截止日期: 2020年7月15日)。 Bench'20 将于2020年11月14-16日在美国亚特兰大举办。主题是大数据、AI、区块链、HPC、数据中心、IoT、边缘计算等领域的基准评测和优化。Bench'20会议将颁发BenchCouncil成就奖(3000美元)、BenchCouncil新星奖(1000美元)、以及BenchCouncil最佳论文奖(1000美元)。

03/03/2020: ACM编程语言和操作系统顶级会议(ASPLOS 2020)上AIBench Tutorial日程更新. 本次tutorial介绍了敏捷式基准测试构建方法,真实工业场景应用中提炼的十种端到端应用场景,AIBench框架和端到端、组件级、微测试标准,以及使用AIBench的初步实验结果。另外,Tutorial提供一系列视频演示如何在一个公开的测试床上使用AIBench。所有的Tutorial相关报告和录制视频均可公开获取和访问。同时,各个报告的独立链接均更新在Tutorial主页

02/22/2020: 高性能计算架构国际会议(HPCA 2020)上AIBench Tutorial日程更新. 本次Tutorial介绍了现代负载特征分析的挑战性、工业界需求、基准测试动机、以及AIBench框架和基准测试程序集。另外,Tutorial提供一系列视频演示如何在一个公开的测试床上使用AIBench。所有的Tutorial相关报告和录制视频均可公开获取和访问。同时,各个报告的独立链接均更新在Tutorial主页

02/17/2020: BenchCouncil AIBench技术报告更新 AIBench提出了一种加速软硬件协同设计的敏捷式领域相关基准测试方法。基于该方法,AIBench联合17家工业伙伴抽取了10个重要的端到端应用场景,提炼了这些场景中16种代表性的AI任务从而构建组件级测试基准,并抽象了组件级基准中频繁出现的14个基本操作单元作为微测试基准。组件级基准的排列执行构成了端到端基准,它是工业级端到端应用场景的关键路径和核心模块刻画。AIBench提供了由AI相关和非AI相关组件、在线服务、离线训练、自动部署工具、数据输入等模块组成的可复用基准测试框架,支持端到端测试基准的快速构建。

12/20/2019: BenchCouncil人工智能测试标准规范征集评论意见:AIBench标准规范HPC AI500标准规范Edge AIBench标准规范AIoTBench标准规范

12/02/2019: 2020国际测试基准与标准大会Bench'20网站上线 (2020年11月14-16日,美国佐治亚州亚特兰大)。

12/02/2019: 2020国际智能计算与区块链联邦大会(FICC 2020)网站上线。FICC 2020大会主题为“智能加速,链接未来“,拟于2020年6月29日-7日3日在山东青岛举办,会议由独立的五个大会组成,分别是国际智能计算机大会(IC 20),国际智慧医疗科技大会(MedTech 20),国际区块链大会(BChain 20),国际金融科技大会(FinTech 20),以及国际教育科技大会(EduTech 20)。

12/02/2019: 2019国际芯片大会(Chips 2019)注册开放。 Chips 2019旨在构建自主可控和开放的芯片产业,在实现芯片等关键技术自主可控的同时,充分利用国际分工协作,提高芯片产业发展的可持续性。

11/19/2019: BenchCouncil’s View On Benchmarking AI and Other Emerging Workloads (技术报告BenchCouncil SC BoF报告分享)。This paper outlines BenchCounci’s view on the challenges, rules, and vision of benchmarking modern workloads. We conclude the challenges of benchmarking modern workloads as FIDSS (Fragmented, Isolated, Dynamic, Servicebased, and Stochastic), and propose the PRDAERS benchmarking rules that the benchmarks should be specified in a paper-and-pencil manner, relevant, diverse, containing different levels of abstractions, specifying the evaluation metrics and methodology, repeatable, and scaleable. We believe proposing simple but elegant abstractions that help achieve both efficiency and general-purpose is the final target of benchmarking in future, which may be not pressing. In the light of this vision, we shortly discuss BenchCouncil’s related projects.

11/16/2019: Tony Hey教授荣获BenchCouncil成就奖 Tony Hey教授是拉塞福-阿普顿实验室首席数据科学家, 是2019年BenchCouncil成就奖获得者。

11/14/2019: 国际芯片大会Chips 2019 (12月18-20日 @ 北京)上线。2019国际芯片大会由BenchCouncil和中国科学院院刊组织,旨在探讨芯片行业的关键技术和软硬件生态,构建自主可控和开放的芯片产业。

10/28/2019: 欢迎注册Bench'19会议Bench'19会议日程更新。

10/23/2019: AIBench代码开源

10/23/2019: AIBench技术报告更新

10/16/2019: Bench 18论文集上线

10/16/2019: 征集BenchCouncil成就奖提名

10/06/2019: 征集BenchCouncil系统奖提名

09/26/2019: 智能芯片性能榜发布。

09/17/2019: SC 19 BoF

09/07/2019: Bench 19 会议开放注册

09/05/2019: Bench 19 竞赛论文提交系统已开放。

09/02/2019: HPC AI500Edge AIBench网站更新。

08/12/2019: 工业标准的人工智能测试标准AIBench, 智能超算人工智能测试标准HPC AI500, IoT人工智能测试标准AIoTBench, 边缘计算人工智能测试标准Edge AIBench已发布。

08/12/2019: 大数据测试标准BigDataBench更新。

06/27/2019 - 06/29/2019: 智能计算机大会BenchCouncil 2019在深圳成功举办。

05/01/2019: BenchCouncil竞赛开放注册

2019-04-09 18:36:55 广州日报报道: 世界权威机构将联合发布人工智能评测标准

2019-04-09 18:10 新华网报道: 2019年世界智能计算机大会将于6月在深圳举办

2019-04-09 21:39 光明日报报道: 世界智能计算机大会聚焦人工智能

2019-04-09 22:32 南方Plus报道: 深圳将举办2019年世界智能计算机大会

2019-04-09 23:00 亿欧报道: 2019世界智能计算机大会将在深举办,汇聚中国方案和世界智慧

2019-04-09 19:19:14 科技日报报道: 2019年世界智能计算机大会首次在我国举办

2019/04/09 21:02 读创科技报道: 2019年世界智能计算机大会将于6月在深圳举办

2019-04-09 19:00 深圳晚报报道: 拥抱智能 计算未来” 深圳将举办 2019 年世界智能计算机大会

2019-04-10 深圳特区报报道: 2019年世界智能计算机大会将在深举办

2019-04-10 11:27:00 央广网报道: 2019年世界智能计算机大会6月深圳召开

03/13/2019: 智能计算机大会BenchCouncil 2019网站上线。

03/07/2019: Bench'19 is online for paper submission.

02/17/2019: BigDataBench在HPCA'19上举行一天的Tutorial, 报告PPT可开放下载。

02/16/2019: Tutorial: BigDataBench 5.0将在HPCA'19会议进行。

12/20/2018: 电力负载生成工具已发布,可公开下载使用。

12/18/2018: 测试基准与标准提议在Bench 18会议上进行报告和讨论,报告PPT可公开下载

12/11/2018: Bench'18最佳论文: EC-Bench: Benchmarking Onload and Offload Erasure Coders on Modern Hardware Architectures Haiyang Shi, Xiaoyi Lu, Dhabaleswar K. (DK) Panda, The Ohio State University

12/01/2018: 国际测试基准与标准大会Bench19 (2019 International Symposium on Benchmarking, Measuring and Optimizing)将在美国丹佛举办。

11/15/2018: 世界智能计算机大会BenchCouncil 2019将于今年六月在中国举办.

11/01/2018: BenchCouncil收到来自中国、美国及欧洲等著名研究团队的九项测试基准与标准提议

06/01/2018: Bench 2018会议将在IEEE Big Data 2018共同举办。

[更多新闻]