自成立以来，BenchCouncil 承担了三项主要责任：推动和倡导Evaluatology，将它发展为一门统一的学科；基于 BenchCouncil Evaluatology建立评价基准，并发布一致、可比较的评估结果；培育一个开放、包容且不断壮大的评价科学与工程共同体。
作为一家非营利组织，BenchCouncil 依靠您的支持来保持其发展。我们鼓励您通过购买其商业工具和服务来支持 BenchCouncil 的增长。
新闻：
09/20/2024: 2024国际新兴技术评价大会征稿。Evaluatology 2024是第一届国际新兴技术评价研讨会，于2024年12月4日至6日与第十六届国际测试基准与标准大会 (Bench 2024)在中国广州共同举办。1页摘要提交截止日期为2024年10月15日晚上11:59 (提交网站:https://eva2024.hotcrp.com/)。
09/03/2024: BenchCouncil推出ETRanking, 以衡量在500个新兴技术领域评估前500位的先驱者。
08/5/2024：Bench 2024的论文征集（CFP）已延长至2024年8月19日。请通过【提交网站：https://bench2024.hotcrp.com/】提交您的论文。Bench 2024将于2024年12月4日至6日举行。评审过程是双盲的，所有被接受参加Bench 2024的论文将在会议上发表，并在Springer Lecture Notes in Computer Science（LNCS）中出版，该期刊被EI索引。
08/5/2024：IC 2024的论文征集（CFP）已延长至2024年8月27日【提交网站：https://ic2024.hotcrp.com/】。IC 2024将于2024年12月4日至6日举行。评审过程是双盲的。所有被接受的论文将在IC 2023会议上发表，并由Springer CCIS出版（由EI索引）。
07/01/2024：2024国际测试委员会智能计算机、算法和应用大会(IC 2024) 网站上线 (2024年12月4日-6日，中国广东广州).
05/02/2024：第十六届国际测试基准与标准大会 (Bench 2024) 网站上线 (2024年12月4日-6日，中国广东广州).
03/19/2024：BenchCouncil 最近发布了一份关于评估学的技术报告，重点关注评估的科学和工程。该报告由詹剑锋博士领衔，探讨了不同领域评估的普适科学与工程的发展。
01/02/2024：2023年Bench论文集上线。Bench 2023 论文集包括 11 篇论文。
01/02/2024：IC 2023 会议论文集上线。英文网站和中文网站免费访问，截止日期为 2024 年 3 月 3 日。
06/12/2023：Lieven Eeckhout教授荣获2023年BenchCouncil成就奖（评估报告）。根特大学的 Lieven Eeckhout 教授因其对工作负载表征计量学和工具的长期贡献以及对快速、准确和并行 x86 多核模拟器 Sniper 的贡献而被授予 2023 年 BenchCouncil 成就奖。他在Bench 2023颁奖典礼（2024年12月3-6日，三亚）上发表主旨演讲。
12/06/2023：祝贺 FICC 2023 旅行补助金获得者：Singh Rohit，辛辛那提大学（300 美元）、Xinlin Wang，卢森堡大学（100 美元）、Haojia Huang，中山大学（100 美元）、徐嘉义，中国科学院高能物理研究所（100 美元）、李嘉兴，南开大学（100 美元）、沉家辉，中国民航飞行大学（100 美元）、王浩，同济大学（100 美元） ）、李松，哥本哈根大学（100 美元）、岑默，上海交通大学（100 美元）和泽嘉路，上海交通大学（100 美元）。
06/06/2023：IC 2023 征文。 IC 2023将于2023年12月4-6日在素有中国夏威夷之称的美丽海滨城市三亚与FICC 2023同期举办。论文提交截止日期为 2023 年 7 月 31 日晚上 11:59 AoE（提交网站）。审查过程是双盲的。请注意，多达 59 个国家的公民无需中国政府签证即可访问三亚。
04/12/2023：为了保持基准、评估和标准社区的开放、包容和成长，BenchCouncil 不仅孵化和开发了一系列基准和工具项目，还从其他组织中选择和推荐有影响力的基准项目。BenchCouncil将定期更新推荐的项目。如果您愿意被推荐，请随时与我们联系（benchcouncil@gmail.com）。
03/30/2023：开源计算机系统国际研讨会（OpenCS 2023）网站上线（中国海南三亚）。
03/30/2023：第十五届国际测试基准与标准大会（Bench 2023）网站上线（中国海南三亚）。
11/9/2022: John L. Henning荣获2022年度BenchCouncil成就奖。SPEC CPU小组委员会秘书、美国甲骨文公司卓越工程师John L. Henning是2022年度BenchCouncil成就奖获得者，为SPEC CPU2000、SPEC CPU 2006以及SPEC CPU2017的构建具有领导性的技术贡献。John L. Henning在Bench 2022会议上做主旨报告（11月6-11日，会议日程）。
11/9/2022: Douwe Kiela博士荣获2022年度BenchCouncil新星奖。Hugging Face研究主管Douwe Kiela博士是2022年度BenchCouncil新星奖获得者，为自然语言处理方向的基准测试工具Dynabench、Senteval、Adversarial NLI的构建具有突出的贡献。 Douwe Kiela博士在Bench 2022会议上做主旨报告（11月6-11日，会议日程）。
11/4/2022: Bench 2022开放注册 (11月6-11日上午八点开始，UTC-5时区, 会议日程, 免费注册). 主旨报告: John L. Henning (成就奖获得者)，Douwe Kiela博士 (新星奖获得者); 邀请报告: Kai Shu博士; 杰出博士论文奖；最佳论文奖；Tony Hey最佳学生论文奖；Bench 2022会议论文；TBench期刊论文; 两个研讨会OpenBench 和Open-source Computer System (OpenCS)。
10/13/2022: TBench开源计算机系统专题征集论文 (投稿系统)。 开源计算机系统专题主要征集以下主题的论文：软硬件协同设计空间的探索研究；开源系统的新型抽象和方法研究；开源硬件；开源软件；测试和优化工具等。
10/13/2022: 开源计算机系统(OpenCS) 研讨会开放注册 (2022年11月10-11日, 上午八点，UTC-5时区， 会议日程, 免费注册)。
10/13/2022: Bench 2022开放注册 (11月6-11日，上午八点，UTC-5时区, 会议日程, 免费注册). 会议亮点: BenchCouncil成就奖主旨报告，BenchCouncil新星奖主旨报告，邀请报告，Bench 2022会议论文，TBench期刊论文，两个研讨会OpenBench 和开源计算机系统 (OpenCS)。
07/31/2022: Bench 2022论文投稿截止日期延长至2022年8月18日. Bench 2022会议将于2022年11月6-11日举办 (投稿系统). 所有的接收论文将会在Bench 2022上报告，并发表在Springer LNCS上 (EI索引). 优秀论文将推荐到BenchCouncil Transactions on Benchmarks, Standards, and Evaluation (TBench)刊物。Bench 2022将颁发 BenchCouncil 成就奖 (3000$), 新星奖 (1000$), 最佳论文奖 (1000$), 以及杰出博士论文奖 (计算机体系结构领域和其他领域，奖励各$1000)。
07/01/2022: 三期 BenchCouncil Transactions on Benchmarks, Standards and Evaluations (TBench) 论文集上线。 欢迎访问和下载。
06/09/2022: The SAIBench项目上线! 论文和 报告 [PDF] 可公开访问。SAIBench旨在评测AI for science。
05/30/2022: 祝贺苏黎世联邦理工学院Romain Jacob博士荣获2021年度BenchCouncil杰出博士论文奖。 经过奖励委员会的匿名投票，Romain Jacob博士和伊利诺理工大学Kai Shu博士分别获得第一名和第二名。最终，Romain Jacob博士获得奖项。根据奖励评选规则，提名的候选者必须提交论文至TBench刊物。他们的文章已发表于 第2卷，第1期。
05/23/2022: BenchCouncil杰出博士论文奖（体系结构领域）征集提名 (截止日期：2022年10月15日，提名链接)。 该奖项奖励体系结构领域基准测试、负载分析、评测和优化方向相关的优秀博士毕业论文。鼓励每个候选者提交论文到TBench（BenchCouncil Transactions on Benchmarks, Standards, and Evaluation）期刊。在所有候选者中， 四名候选者将被选为最终候选人。他们将被邀请在Bench 2022会议上进行30分钟的报告同时必须发表论文在TBench期刊上。最终经过奖励委员会的匿名投票，得票最高的候选者将获得该奖项，奖金1000美元。
05/23/2022: BenchCouncil杰出博士论文奖（其他领域）征集提名 (截止日期：2022年10月15日， 提名链接). 田纳西大学Jack Dongarra教授、加利福尼亚大学默塞德分校Xiaoyi Lu博士、拉塞福－阿普顿实验室Jeyan Thiyagalingam博士、中科院计算所王磊博士、以及俄亥俄州立大学Spyros Blanas博士共同组成奖励委员会。 该奖项奖励在广泛领域中关于基准测试、数据、标准、评测、优化研究的优秀博士毕业论文。鼓励每个候选者提交论文到TBench（BenchCouncil Transactions on Benchmarks, Standards, and Evaluation）期刊。在所有候选者中， 四名候选者将被选为最终候选人。他们将被邀请在Bench 2022会议上进行30分钟的报告同时必须发表论文在TBench期刊上。最终经过奖励委员会的匿名投票，得票最高的候选者将获得该奖项，奖金1000美元。
05/22/2022: Bench 2022征集论文. Bench 2022将于2022年6-11日举办 (投稿系统). 投稿截止日期为2022年7月28日，双盲评审。
05/17/2022: A BenchCouncil view on benchmarking emerging and future computing论文发布。詹剑锋教授提出了一个统一的benchmark定义、概念性的框架、以及一个可溯源的基于监督式学习的基准测试方法和理论体系，旨在独立于metrology （计量学）发展面向计算机科学领域的基准科学与工程。
04/19/2022: TBench 征集论文。 BenchCouncil Transactions on Benchmarks, Standards and Evaluations (TBench) 是一个聚焦于基准（Benchmarks）、数据集（Data Sets）、标准（Standards）、评估（Evaluations）和优化（Optimizations）的多学科英文国际期刊。TBench可开放获取（open-access），编辑委员会由国内外40多位资深专家组成。计划按每季度发行，双盲评审，发表不收取任何费用，录取论文要求注册Bench会议并作报告。平均第一次做出决定的时间大概3周 。
03/31/2022: 祝贺Jack J. Dongarra教授荣获2021年度图灵奖。Jack J. Dongarra教授是2021年度BenchCouncil成就奖获得者，同时也是BenchCouncil优秀博士论文奖奖励委员会主席。
03/31/2022: OLxPBench论文的camera-ready版本发布, 发表于 ICDE 2022。 OLxPBench提出一套全面的HTAP系统测试基准。首先，抽象广泛存在于真实场景中的实时查询，并将其与在线事务按照规则组合成为混合负载。其次，率先提出语意一致的schema模型，用于展现OLTP和OLAP之间的负载干扰。最后，贡献了两个特定领域的测试基准以供用户灵活选择。下载链接: OLxPBench主页, 论文下载, and GitHub下载.
12/17/2021: 中科院计算所詹剑锋研究员在TBench期刊第一期上发表倡导建立Benchmark科学和工程的论文 [PDF]。
10/08/2021: BenchCouncil杰出博士论文奖征集提名 (截止日期: 2021年10月15日23:59:59，AoE时区, 提交链接)。 田纳西大学Jack Dongarra教授、加利福尼亚大学默塞德分校Xiaoyi Lu博士、拉塞福－阿普顿实验室Jeyan Thiyagalingam博士、中科院计算所王磊博士、以及俄亥俄州立大学Spyros Blanas博士共同组成 奖励委员会。该奖项奖励对于测试基准与标准、评测和优化方面的优秀博士毕业论文。奖励委员会将从所有提名者中选取四名提名者，并邀请在Bench’21会议上进>行30分钟的报告并提交论文至BenchCouncil Transactions on Benchmarks, Standards and Evaluation期刊。最终将从四位提名者中选取一名颁发2021年度优秀博士论>文奖，奖金1000美元。
09/08/2021: 詹剑锋研究员在Cluster 2021的AI4S研讨会上发表关于《AI benchmarking challenges, methodology, and progress》的主题演讲。
09/05/2021: ScenarioBench项目上线！ScenarioBench项目的目标是提供针对超大规模真实应用及系统或未来应用及系统进行建模、评测和优化的方法、工具和指标。
08/03/2021: AIBench Scenario论文camera-ready版本发布, 发表于PACT 2021。 现代真实应用领域如互联网服务往往包含多样的AI和非AI组件，具有非常庞大的代码量以及长而复杂的执行路径，因而基于工业真实应用的评测具有非常大的挑战。论文提出了一种基于场景浓缩的基准测试方法，其将真实应用形式化为一个有向无环图（DAG）模型，并提出了一系列规则将其浓缩为一组AI相关和非AI相关组件的排列执行，我们将其称为一个场景级测试基准。通过与十七个工业合作伙伴的合作，论文抽取了九个典型的场景级测试基准，并设计和实现了一个可扩展、可配置以及灵活的基准测试构建框架。基于该框架，论文实现了两个互联网服务AI场景级测试基准：智能电商搜索和智能在线翻译。[AIBench Scenario主页，GitHub下载]
07/22/2021: Bench'21论文截稿时间延长至2021年8月6日，投稿链接为 https://bench2021.hotcrp.com/。 Bench'21会议将于2021年11月14-16日举办。论文审稿为双盲评审，一经录用，论文将发表在BenchCouncil Transactions on Benchmarks, Standards, and Evaluation (TBench)刊物上，并在Bench'21会议上进行论文报告。会议将会颁发BenchCouncil成就奖（3000美元）、BenchCouncil新星奖（1000美元）、BenchCouncil最佳论文奖（1000美元）、以及BenchCouncil优秀博士论文奖（1000美元）。
07/14/2021: HPC AI500 V2.0论文的camera-ready版本已经发布，发表于CLUSTER 2021。论文提出了一种全面的HPC AI基准测试方法学，实现了具有代表性、可重复性、等价性且低成本的测试。基于AIBench training，通过微体系结构无关和微体系结构相关的特征分析以及AI负载的随机性分析，选择了最具代表性和可重复性的两个AI负载。选取的负载覆盖的场景不仅包含商业领域还包含科学计算领域。针对于等价性，文章提出了一种层次化的评测模型，分为三种级别测试，并包含相应的规则。最后，提出了Valid FLOPS作为排名指标，同时强调系统的性能和AI模型达到的精度。
07/08/2021: BenchCouncil杰出博士论文奖征集提名 (奖金1000美元，截止时间: 北京时间2021年9月1日晚上八点, 提交地址)。 评审委员会由国际上11名教授组成，美国工程院院士Jack Dongarra、美国加州大学Xiaoyi Lu教授、英国Science and Technology Facilities Council Jeyan Thiyagalingam博士担任评审委员会共同主席。委员会欢迎并鼓励相关领域的杰出博士论文奖提名，包括但不限于如下领域：计算机体系结构、系统、数据库、高性能计算、机器学习、人工智能、科学计算、医学及其他学科。入围的四位候选者将被邀请在Bench'21会议上作30分钟报告，并各向BenchCouncil Transactions on Benchmarks, Standards and Evaluation上提交一篇总结成果的论文。
07/07/2021: HPC AI500论文被CLUSTER 2021录用，CLUSTR会议是一个关于集群计算的高质量会议。 被录用论文题目为"HPC AI500 V2.0: The Methodology, Tools, and Metrics for Benchmarking HPC AI Systems." 论文最终版将尽快发布。
06/17/2021: 计算机体系结构国际顶级会议ISCA 2021上的AIBench Tutorial将于6月17日举办(Thursday, June 17 | 9 AM - 3:45 PM EDT)。欢迎大家积极参加并参与讨论。
06/16/2021: WPC方法和工具论文被IEEE Computer Architecture Letters录用。WPC提出了一种跨中间表示IR层、ISA层、以及微体系结构层的全景式负载分析方法，从而支持负载本质特征的发现和全方位多层次的负载行为结合分析和理解。基于WPC负载分析方法和工具，我们发现CloudSuite的观察“具有更高的前端停顿是scale-out负载的内在特征”是不准确的。WPC项目主页为https://www.benchcouncil.org/WPC。
06/07/2021: Bench'21论文征集中，论文截止时间是2021年7月30日，投稿链接为https://bench2021.hotcrp.com/。 Bench'21会议将于2021年11月14-16日举办。论文审稿为双盲评审，一经录用，论文将发表在BenchCouncil Transactions on Benchmarks, Standards, and Evaluation (TBench)刊物上，并在Bench'21会议上进行论文报告。会议将会颁发BenchCouncil成就奖（3000美元）、BenchCouncil新星奖（1000美元）、BenchCouncil最佳论文奖（1000美元）、以及BenchCouncil优秀博士论文奖（1000美元）。
04/18/2021: 计算机体系结构国际顶级会议ASPLOS 2021上的AIBench Tutorial 报告及视频上线。
04/16/2021: Bench指导委员会宣布国际测试基准与标准大会Bench'21的会议主席. 美国罗德岛大学Resit Sendag教授和挪威SINTEF研究所Arne J. Berre博士将共同担任大会主席。中科院计算所王磊博士、德国帕德博恩大学Axel Ngonga教授、以及美国克拉克森大学Chen Liu教授将共同担任大会程序委员会主席。Bench'21会议正在征稿中。
04/13/2021: 计算机体系结构国际顶级会议ASPLOS 2021上的AIBench Tutorial将于4月14日举办（7am-11am PT and 4pm-8pm PT，北京时间14日晚上10点-15日凌晨两点，15日上午7点-11点）。Zoom链接：https://zoom.us/j/98791303035?pwd=Q3BvdUNjbjhhNmhGKzlyN3RkdEh1Zz09。欢迎大家积极参加并参与讨论。
04/13/2021: 人工智能测试基准AIBench项目主页更新。
04/02/2021: FICC 2020会议论文集上线。通过会议英文网站和会议中文网站访问论文集可免费下载，免费截止到2021年4月22日。
03/12/2021: Bench'20会议论文集上线。 通过会议主页和会议日程可免费下载，免费截止到2021年4月8日。
03/08/2021: AIBench Training论文定稿版发布, 论文已被ISPASS 2021录用。这篇论文系统总结了人工智能基准测试的挑战：成本挑战、需求冲突挑战、负载保质期短挑战、可扩展性挑战和可重复性挑战。AIBench是第一个系统全面地解决了上述挑战的人工智能测试基准：基于真实工业场景提炼和抽取，形成场景级、推理组件级、训练组件级、微基准级、以及合成的人工智能测试基准。AIBench Training使用具有代表性和全面性的真实负载覆盖庞大的参数空间，从而覆盖学习动力学特征。考虑到评测的成本，AIBench Training进一步提供具备可重复性的性能排名RPR子集，以及负载特征分析WC子集。
02/10/2021: 国际测试基准与标准Bench'21会议征集。Bench'21将于2021年11月14至16日举办。本届会议采用双盲评审并提供三次投稿机会。一经录用，论文将发表在BenchCouncil期刊TBench (BenchCouncil Transactions on Benchmarks, Standards, and Evaluation)上，并在Bench'21上进行论文报告。Bench'21会议将会颁发国际测试委员会成就奖（3000美元）、新星奖（1000美元）、以及最佳论文奖（1000美元）。如您有意向加入Bench会议的程序委员会（TPC），请邮件联系BenchCouncil执行委员会委员高婉铃gaowanling(at)ict(dot)ac(dot)cn.
02/10/2021: BenchCouncil发布新期刊《BenchCouncil Transactions on Benchmarks, Standards, and Evaluations (TBench)》。TBench是一个专注于测试基准、标准、评测和数据集的支持开放获取的面向多学科的期刊。TBench采用双盲的同行评审方式，并追求平均两个月周期的快速发表。TBench刊物发表不收取论文处理费用。如您有意向成为TBench期刊的编辑委员（editorial board），请邮件联系TBench主编詹剑锋教授zhanjianfeng (at) ict (dot) ac (dot) cn，并发送您的简历和如何提升期刊质量的短期计划。
02/09/2021: 计算机体系结构国际顶级会议ISCA 2021上的AIBench Tutorial网站上线。 AIBench tutorial旨在介绍BenchCouncil AIBench，一个全面的覆盖场景级、组件级、以及微算子级的，同时面向数据中心、高性能计算、IoT、边缘计算等多种领域的人工智能测试基准。我们将在BenchCouncil测试床上演示如何使用AIBench。
02/09/2021: AIBench Training论文被ISPASS 2021录用。ISPASS会议是一个关于性能分析的高质量会议。被录用论文题目为"AIBench Training: Balanced Industry-Standard AI Training Benchmarking"，论文最终版将尽快发布。论文摘要如下: Earlier-stage evaluations of a new AI architecture/system need affordable AI benchmarks. Using a few AI component benchmarks like MLPerf alone in the other stages may lead to misleading conclusions. This paper proposes a balanced benchmarking methodology. Performing an exhaustive survey on Internet service AI domains, we identify and implement seventeen representative AI tasks with state-of-the-art models to guarantee the diversity and representativeness of benchmarks. Meanwhile, we keep a benchmark subset to a minimum for affordability. We contribute by far the most comprehensive AI training benchmark suite with seventeen industry partners. The evaluations show: (1) AIBench Training outperforms MLPerf Training in terms of diversity and representativeness of model complexity, computational cost, convergent rate, computation, and memory access patterns, and hotspot functions; (2) Compared to the AIBench full benchmarks, its subset shortens the benchmarking cost by 54%, while maintaining the primary workload characteristics; (3) The performance ranking shows the single-purpose AI accelerator like TPU with the optimized TensorFlow framework performs better than that of GPUs, while losing the latter’s general support for various AI models. The AIBench Training specifications, source code, testbed, and performance numbers are publicly available from the AIBench project homepage.
12/24/2020: AIBench Tutorial on ASPLOS 2021 Website Online. We are invited by Dr. Tamara Silbergleit Lehman, Workshop and Tutorials chair of ASPLOS 2021 to give a full-day tutorial about BenchCouncil benchmarks. This tutorial aims at presenting BenchCouncil AIBench---a comprehensive AI benchmark suite for Datacenter, HPC, IoT and Edge. We also provide hands-on demos on how to use AIBench on the BenchCouncil testbed---an open testbed for AI in HPC, Datacenter, IoT, and Edge.
12/07/2020: 詹剑锋教授在Bench'20会议作AIBench and Its Performance Rankings报告 (视频链接 和 PPT链接)。AIBench目前是最全面综合的人工智能测试基准，广泛面向数据中心、高性能计算、边缘计算、以及物联网等领域，提供了场景级测试基准、组件级训练测试基准、组件级推理测试基准等，从而满足不同领域不同层次的评测需求。基于AIBench，BenchCouncil已发布了智能芯片排行榜和国际首个智能超算系统排行榜。
11/15/2020: 苏黎世联邦理工大学Torsten Hoefler教授荣获2020 BenchCouncil新星奖。 Torsten Hoefler教授在基准测试、测量和优化领域作出了突出的贡献： “和 J. Domke一起提出了任意拓扑情况下最快的路由算法；与美国工程院院士Jack Dongarra等共同编写了最新版的MPI消息传递标准，并提出了一个深度学习框架和智能超算基准测试库Deep500”。
11/15/2020: 明尼苏达大学David J. Lilja教授荣获2020 BenchCouncil成就奖。 David J. Lilja教授在基准测试、测量和优化领域作出了长期的贡献：“系统总结了测量、仿真和分析建模的实用方法，并提出了适用于计算机体系结构仿真研究的测试基准MinneSPEC，开拓了软硬件交互和体系结构电路交互的方法来提高系统性能。”
10/09/2020: 2020年智能计算与区块链多学科联邦大会开放注册。日程及演讲嘉宾持续更新中。早鸟票注册优惠截止至2020年10月23日。
09/08/2020: 基于AIBench的训练性能排行榜发布。性能榜单使用AIBench子集（Image Classification, Object Detection, and Learning to Rank）作为基准，评测了多种型号的TPU和GPU。AIBench评测方法提供了三个赛道：系统赛道、硬件赛道和自由赛道，本排行榜基于系统赛道。AIBench相关负载介绍和评测方法详情见AIBench技术报告。
08/13/2020: Bench'20投稿截止时间: 2020年8月15日 23:59:59 (Anywhere on Earth).
07/12/2020: Bench'20论文截止日期延长到2020年8月15日。 Bench'20将于2020年11月14-16日在美国亚特兰大举办。主题是大数据、AI、区块链、HPC、数据中心、IoT、边缘计算等领域的基准评测和优化。Bench'20会议将颁发BenchCouncil成就奖（3000美元）、BenchCouncil新星奖（1000美元）、以及BenchCouncil最佳论文奖（1000美元）。
07/03/2020: 首个智能超级计算机榜单HPC AI500发布。Fujitsu居HPC AI500榜首，性能达 31.41 Valid PFLOPS（新指标，兼顾FLOPS和模型精度）。HPC AI500 从AIBench（当前最综合的人工智能测试基准，包含十七个人工智能任务）中选择两个最有代表性和重复性的Benchmark：图像分类和目标检测（极端天气分析），包括三个赛道：硬件、系统及自由(仅定义问题）。发布榜单采用图像分类(ImageNet/ResNet50)，赛道为自由赛道。
06/30/2020: HPC AI500: The Methodology, Tools, Roofline Performance Models, and Metrics for Benchmarking HPC AI Systems. 该技术报告提出了一种全面的智能超算领域的基准测试构建方法，能够实现基准测试的等价性、相关性、代表性、可负担性以及可重复性。使用上述方法，我们开源了一套智能超算评测基准HPC AI500，同时也提出了适用与智能超算系统评测和优化的屋顶模型。我们提出了两个新指标: Valid FLOPS和valid FLOPS per watt，用于排名智能超算系统的性能和能耗。实验结果表面我们的构建方法、基准测试程序、屋顶模型和指标能够易于评测、优化并排名智能超算系统，同时也具备可扩展性。
06/22/2020: 国际测试委员会智能计算机与区块链多学科联邦大会 (FICC, 2020年10月30日-11月2日在山东青岛召开) 论文征集. 论文提交地址 (五个独立的会议使用同一提交地址，不同的track, 截止日期: 2020年8月15日)。 五个会议分别是: 国际测试委员会智能计算机大会(IC 20), 国际测试委员会区块链大会(BChain 20), 国际测试委员会智慧医疗科技大会(MedTech 20), 国际测试委员会金融科技大会(FinTech 20), 和 国际测试委员会教育科技大会(EduTech 20). 另外两个会议本次不征集论文，包括 国际测试委员会芯片大会(Chips 20)和 国际测试委员会评估、仿真与测试大会 (ESTest 20).
06/22/2020: Bench'19发表刊物. 免费获取截止至2020年7月31日。刊物收录了Bench’19常规论文以及使用AIBench在寒武纪、RISC-V、X86等平台上评测优化的优秀竞赛论文。
04/30/2020: AIBench: An Industry Standard AI Benchmark Suite from Internet Services (组件级基准测试技术报告). 该技术报告提出了一种权衡不同阶段评测需求以及性能排名的基准测试构建方法。我们调研并构建了17种典型的AI任务，从而保证基准测试的多样性和代表性。同时，为了降低基准测试的评测成本，同时又保留多样性和代表性，我们选取了仅包含3个任务的基准测试子集。实验表明AIBench在模型复杂度、计算复杂度（FLOPs）、收敛特性、微体系结构计算和仿存特征、热点函数覆盖等方面均比相关工作MLPerf更具有典型性和覆盖性。
04/27/2020: Bench'20论文征集 (截止日期: 2020年7月15日)。 Bench'20 将于2020年11月14-16日在美国亚特兰大举办。主题是大数据、AI、区块链、HPC、数据中心、IoT、边缘计算等领域的基准评测和优化。Bench'20会议将颁发BenchCouncil成就奖（3000美元）、BenchCouncil新星奖（1000美元）、以及BenchCouncil最佳论文奖（1000美元）。
03/03/2020: ACM编程语言和操作系统顶级会议（ASPLOS 2020）上AIBench Tutorial日程更新. 本次tutorial介绍了敏捷式基准测试构建方法，真实工业场景应用中提炼的十种端到端应用场景，AIBench框架和端到端、组件级、微测试标准，以及使用AIBench的初步实验结果。另外，Tutorial提供一系列视频演示如何在一个公开的测试床上使用AIBench。所有的Tutorial相关报告和录制视频均可公开获取和访问。同时，各个报告的独立链接均更新在Tutorial主页。
02/22/2020: 高性能计算架构国际会议（HPCA 2020）上AIBench Tutorial日程更新. 本次Tutorial介绍了现代负载特征分析的挑战性、工业界需求、基准测试动机、以及AIBench框架和基准测试程序集。另外，Tutorial提供一系列视频演示如何在一个公开的测试床上使用AIBench。所有的Tutorial相关报告和录制视频均可公开获取和访问。同时，各个报告的独立链接均更新在Tutorial主页。
02/17/2020: BenchCouncil AIBench技术报告更新。 AIBench提出了一种加速软硬件协同设计的敏捷式领域相关基准测试方法。基于该方法，AIBench联合17家工业伙伴抽取了10个重要的端到端应用场景，提炼了这些场景中16种代表性的AI任务从而构建组件级测试基准，并抽象了组件级基准中频繁出现的14个基本操作单元作为微测试基准。组件级基准的排列执行构成了端到端基准，它是工业级端到端应用场景的关键路径和核心模块刻画。AIBench提供了由AI相关和非AI相关组件、在线服务、离线训练、自动部署工具、数据输入等模块组成的可复用基准测试框架，支持端到端测试基准的快速构建。
12/20/2019: BenchCouncil人工智能测试标准规范征集评论意见：AIBench标准规范，HPC AI500标准规范，Edge AIBench标准规范，AIoTBench标准规范。
12/02/2019: 2020国际测试基准与标准大会Bench'20网站上线 （2020年11月14-16日，美国佐治亚州亚特兰大）。
12/02/2019: 2020国际智能计算与区块链联邦大会(FICC 2020)网站上线。FICC 2020大会主题为“智能加速，链接未来“，拟于2020年6月29日-7日3日在山东青岛举办，会议由独立的五个大会组成，分别是国际智能计算机大会（IC 20），国际智慧医疗科技大会（MedTech 20），国际区块链大会（BChain 20），国际金融科技大会（FinTech 20），以及国际教育科技大会（EduTech 20）。
12/02/2019: 2019国际芯片大会(Chips 2019)注册开放。 Chips 2019旨在构建自主可控和开放的芯片产业，在实现芯片等关键技术自主可控的同时，充分利用国际分工协作，提高芯片产业发展的可持续性。
11/19/2019: BenchCouncil’s View On Benchmarking AI and Other Emerging Workloads (技术报告，BenchCouncil SC BoF报告分享)。This paper outlines BenchCounci’s view on the challenges, rules, and vision of benchmarking modern workloads. We conclude the challenges of benchmarking modern workloads as FIDSS (Fragmented, Isolated, Dynamic, Servicebased, and Stochastic), and propose the PRDAERS benchmarking rules that the benchmarks should be specified in a paper-and-pencil manner, relevant, diverse, containing different levels of abstractions, specifying the evaluation metrics and methodology, repeatable, and scaleable. We believe proposing simple but elegant abstractions that help achieve both efficiency and general-purpose is the final target of benchmarking in future, which may be not pressing. In the light of this vision, we shortly discuss BenchCouncil’s related projects.
11/16/2019: Tony Hey教授荣获BenchCouncil成就奖。 Tony Hey教授是拉塞福-阿普顿实验室首席数据科学家, 是2019年BenchCouncil成就奖获得者。
11/14/2019: 国际芯片大会Chips 2019 (12月18-20日 @ 北京)上线。2019国际芯片大会由BenchCouncil和中国科学院院刊组织，旨在探讨芯片行业的关键技术和软硬件生态，构建自主可控和开放的芯片产业。
10/28/2019: 欢迎注册Bench'19会议。 Bench'19会议日程更新。
10/23/2019: AIBench代码开源。
10/23/2019: AIBench技术报告更新。
10/16/2019: Bench 18论文集上线。
10/16/2019: 征集BenchCouncil成就奖提名。
10/06/2019: 征集BenchCouncil系统奖提名。
09/26/2019: 智能芯片性能榜发布。
09/17/2019: SC 19 BoF。
09/07/2019: Bench 19 会议开放注册。
09/05/2019: Bench 19 竞赛论文提交系统已开放。
09/02/2019: HPC AI500和Edge AIBench网站更新。
08/12/2019: 工业标准的人工智能测试标准AIBench, 智能超算人工智能测试标准HPC AI500, IoT人工智能测试标准AIoTBench, 边缘计算人工智能测试标准Edge AIBench已发布。
08/12/2019: 大数据测试标准BigDataBench更新。
06/27/2019 - 06/29/2019: 智能计算机大会BenchCouncil 2019在深圳成功举办。
05/01/2019: BenchCouncil竞赛开放注册
2019-04-09 18:36:55 广州日报报道: 世界权威机构将联合发布人工智能评测标准
2019-04-09 18:10 新华网报道: 2019年世界智能计算机大会将于6月在深圳举办
2019-04-09 21:39 光明日报报道: 世界智能计算机大会聚焦人工智能
2019-04-09 22:32 南方Plus报道: 深圳将举办2019年世界智能计算机大会
2019-04-09 23:00 亿欧报道: 2019世界智能计算机大会将在深举办，汇聚中国方案和世界智慧
2019-04-09 19:19:14 科技日报报道: 2019年世界智能计算机大会首次在我国举办
2019/04/09 21:02 读创科技报道: 2019年世界智能计算机大会将于6月在深圳举办
2019-04-09 19:00 深圳晚报报道: 拥抱智能 计算未来” 深圳将举办 2019 年世界智能计算机大会
2019-04-10 深圳特区报报道: 2019年世界智能计算机大会将在深举办
2019-04-10 11:27:00 央广网报道: 2019年世界智能计算机大会6月深圳召开
03/13/2019: 智能计算机大会BenchCouncil 2019网站上线。
03/07/2019: Bench'19 is online for paper submission.
02/17/2019: BigDataBench在HPCA'19上举行一天的Tutorial, 报告PPT可开放下载。
02/16/2019: Tutorial: BigDataBench 5.0将在HPCA'19会议进行。
12/20/2018: 电力负载生成工具已发布，可公开下载使用。
12/18/2018: 测试基准与标准提议在Bench 18会议上进行报告和讨论，报告PPT可公开下载。
12/11/2018: Bench'18最佳论文: EC-Bench: Benchmarking Onload and Offload Erasure Coders on Modern Hardware Architectures Haiyang Shi, Xiaoyi Lu, Dhabaleswar K. (DK) Panda, The Ohio State University
12/01/2018: 国际测试基准与标准大会Bench19 (2019 International Symposium on Benchmarking, Measuring and Optimizing)将在美国丹佛举办。
11/15/2018: 世界智能计算机大会BenchCouncil 2019将于今年六月在中国举办.
11/01/2018: BenchCouncil收到来自中国、美国及欧洲等著名研究团队的九项测试基准与标准提议。
06/01/2018: Bench 2018会议将在IEEE Big Data 2018共同举办。