科技评价方法学

科技评价的目标是从全球海量科技成果中甄别出最具影响力的科技成果。当前的科技评价主要依赖文献计量学,通过统计论文数量和引用量来对顶尖科学家和成果进行排名。然而,文献计量学存在三个主要局限,导致其无法识别出最具影响力的科技成果:

  • 论文数量和引用量易受多种混杂变量影响,例如学科差异和科研人员的声望等。
  • 无法评估尚未正式发表的科研成果。
  • 过度依赖数量指标,往往忽视了成果本身的质量。

为克服这些局限,国际测试委员会提出了基于评价学的科技评价方法。科技评价学通过建立扩展的评价条件,能够有效减少混杂变量的干扰,进而对众多科技成果进行客观比较;同时,通过构建真实世界的科技评价系统,涵盖了所有的科技成果,从根源上避免遗漏未发表的科技成果。此外,科技评价学定义了四种关系来梳理不同成果之间的联系,并通过四轮筛选规则,确保入选的科技成果的质量。

科技评价学的核心在于扩展的评价条件 [2],如图1所示,它由九个关键组件组成,依次为:(1)领域;(2)问题域;(3)子问题域;(4)问题;(5)子问题;(6)问题或子问题实例;(7)算法或类算法机制;(8)实现;(9)支持系统。

img

图1 扩展的评价条件

每一项科技成果都可以映射到扩展评价条件的不同组件中。基于科技成果的发布时间和文献引用,科技评价学定义了两类基本关系和两类辅助关系,如图2所示。基本关系包括开创关系和渐进关系,辅助关系则为并行关系和“相关但不相连”关系。这四类关系用于理清不同科技成果之间的相互联系。

img

图2 科技成果之间的基本关系和辅助关系

科技评价学建立了一个覆盖所有科技成果的真实世界科技评价系统,将每项科技成果映射到扩展评价条件的多个组件中。例如,精简指令集架构被映射到了扩展评价条件的前六个层级。同时,科技评价学还构建了完美评价模型,以一比一复制真实世界的科技评价系统。当所有科技成果来自同一研究领域时,完美评价模型可以基于这四类关系追踪成果的演化过程,并通过四轮筛选规则剔除低质量成果,最终形成在特定时间段内某一领域的顶尖科技成果集合。

以芯片领域为例,展示国际测试委员会提出的科技评价学,详情请观看以下视频:

img

总而言之,科技评价学能够有效弥补文献计量学的不足,精准识别出特定领域在特定时间段内的顶尖科技成果,并为全球新兴技术贡献榜单的建立提供指导。

参考文献

[1]Zhan, J., Wang, L., Gao, W., Li, H., Wang, C., Huang, Y., ... & Zhang, Z. (2024). Evaluatology: The science and engineering of evaluation. BenchCouncil Transactions on Benchmarks, Standards and Evaluations, 4(1), 100162.

[2]Kang, G., Gao, W., Wang, L., Luo, C., Ye, H., He, Q., ... & Zhan, J. (2024). Could Bibliometrics Reveal Top Science and Technology Achievements and Researchers? The Case for Evaluatology-based Science and Technology Evaluation. arXiv preprint arXiv:2408.12158.