计算机科学

计算机科学研究,由同行评估

没有哪个领域以可运行形式发布更多证据。本页介绍这些证据将如何在此被解读,以及创始群体在任何人接受评分之前将完善的标准。

什么构成计算机科学能力的证据

计算机科学是唯一一个成果可被执行的领域。能重现论文表格的代码、使用诚实基线的基准测试、展示哪个组件真正带来性能提升的消融实验——这些都是可验证的主张,该领域已通过各大顶会的成果评估机制将核查流程常态化。

完全脱离论文而言,持续的开源项目维护本身就是一种研究成果:设计决策在公开场合接受质疑,性能主张由陌生人检验,回归问题由维护者负责。拥有设计说明且阐明取舍理由的生产系统亦然。两者均为可评估的证据,且均不体现在引用计数中。

最难伪造的能力是问题选择:研究工作指向真实问题,而非为迎合现有基准而塑造。评估员将显式关注这一点——这正是优秀研究者与优秀论文写作者的分水岭。

理论与系统以不同方式积累证据——一份证明、一个可量化的成果——但两者均留有公开痕迹:技术报告、学位论文、同时展示失败案例与成功案例的讲座幻灯片。审稿工作同样计入。程序委员会服务、成果评估审查以及公开复现尝试,都是本社区所致力于衡量的判断力的直接样本,任何人均可查阅。

计算机科学评估标准,初稿

计算机科学已对单篇论文实行工件评估;本评价标准将这一习惯从工件延伸至其背后的研究者。

基准诚实性
对比使用经过充分调优的强基线,并如实报告。以稻草人为基线获得的优势,将被如实评分。
消融实验规范性
研究需明确指出哪个组件产生了所述改进,且负面或中性的消融结果须完整报告,而非被删减。
工件质量
代码可正常运行,环境配置已明确说明,且主要结果在已发布内容的规定误差范围内可复现。
问题定义
所研究问题的意义超越衡量它的基准测试本身,且问题的表述方式不应暗中预设结论。

计算机科学领域的创始评估者将在正式使用前,以公开代码库和已发布工件对本草案进行实测验证。

评估标准的初稿可能包含项目合作伙伴的贡献。合作伙伴在评分中不具任何分量。

计算机科学创始评估者的职责

优先以难案例检验评价标准:没有基准测试的系统论文、无工件的理论贡献、只有权重而无训练代码的模型发布。

对公开工件——代码库、附带已发布代码的论文、基准测试声明——进行校准轮次,独立评分并深入研究分歧之处。

建立校准记录,在平台开放时为计算机科学评估提供权重,使准确性先于声誉发挥影响力。

适合人群

本批次需要的计算机科学家,是那些在引用论文之前就会亲自运行代码的人:

  • 在相信结论之前先复现结果的研究人员和工程师。
  • 经过多年 Pull Request 磨砺、评审判断力已相当敏锐的开源项目维护者。
  • 最具代表性的成果以系统和内部报告形式交付、而非以论文发表的工业界研究人员。
  • 曾参与工件评估委员会、并希望这一习惯产生更广泛影响的博士生和博士后。

不适合人群

过滤条件的另一面,直言不讳:

  • 任何希望为自己的代码库获取徽章的人——这里的评估对象是他人的工作。
  • 排行榜追逐者;本评价标准旨在准确衡量以基准测试为导向的工作,这一点对双方同样适用。
  • 任何不希望其评估准确性被追踪记录的人——可见的校准机制是核心所在。
  • 任何本季度就需要上线平台、而非等待标准先行正确构建的人。

申请评估计算机科学领域

申请表中已预选计算机科学方向。请附上代码库、ORCID 或 Scholar 个人主页,或已发布工件的链接。

VocaidDeep