计算机科学
计算机科学研究,由同行评估
没有哪个领域以可运行形式发布更多证据。本页介绍这些证据将如何在此被解读,以及创始群体在任何人接受评分之前将完善的标准。
什么构成计算机科学能力的证据
计算机科学是唯一一个成果可被执行的领域。能重现论文表格的代码、使用诚实基线的基准测试、展示哪个组件真正带来性能提升的消融实验——这些都是可验证的主张,该领域已通过各大顶会的成果评估机制将核查流程常态化。
完全脱离论文而言,持续的开源项目维护本身就是一种研究成果:设计决策在公开场合接受质疑,性能主张由陌生人检验,回归问题由维护者负责。拥有设计说明且阐明取舍理由的生产系统亦然。两者均为可评估的证据,且均不体现在引用计数中。
最难伪造的能力是问题选择:研究工作指向真实问题,而非为迎合现有基准而塑造。评估员将显式关注这一点——这正是优秀研究者与优秀论文写作者的分水岭。
理论与系统以不同方式积累证据——一份证明、一个可量化的成果——但两者均留有公开痕迹:技术报告、学位论文、同时展示失败案例与成功案例的讲座幻灯片。审稿工作同样计入。程序委员会服务、成果评估审查以及公开复现尝试,都是本社区所致力于衡量的判断力的直接样本,任何人均可查阅。
计算机科学评估标准,初稿
计算机科学已对单篇论文实行工件评估;本评价标准将这一习惯从工件延伸至其背后的研究者。
- 基准诚实性
- 对比使用经过充分调优的强基线,并如实报告。以稻草人为基线获得的优势,将被如实评分。
- 消融实验规范性
- 研究需明确指出哪个组件产生了所述改进,且负面或中性的消融结果须完整报告,而非被删减。
- 工件质量
- 代码可正常运行,环境配置已明确说明,且主要结果在已发布内容的规定误差范围内可复现。
- 问题定义
- 所研究问题的意义超越衡量它的基准测试本身,且问题的表述方式不应暗中预设结论。
计算机科学领域的创始评估者将在正式使用前,以公开代码库和已发布工件对本草案进行实测验证。
评估标准的初稿可能包含项目合作伙伴的贡献。合作伙伴在评分中不具任何分量。
计算机科学创始评估者的职责
优先以难案例检验评价标准:没有基准测试的系统论文、无工件的理论贡献、只有权重而无训练代码的模型发布。
对公开工件——代码库、附带已发布代码的论文、基准测试声明——进行校准轮次,独立评分并深入研究分歧之处。
建立校准记录,在平台开放时为计算机科学评估提供权重,使准确性先于声誉发挥影响力。
适合人群
本批次需要的计算机科学家,是那些在引用论文之前就会亲自运行代码的人:
- 在相信结论之前先复现结果的研究人员和工程师。
- 经过多年 Pull Request 磨砺、评审判断力已相当敏锐的开源项目维护者。
- 最具代表性的成果以系统和内部报告形式交付、而非以论文发表的工业界研究人员。
- 曾参与工件评估委员会、并希望这一习惯产生更广泛影响的博士生和博士后。
不适合人群
过滤条件的另一面,直言不讳:
- 任何希望为自己的代码库获取徽章的人——这里的评估对象是他人的工作。
- 排行榜追逐者;本评价标准旨在准确衡量以基准测试为导向的工作,这一点对双方同样适用。
- 任何不希望其评估准确性被追踪记录的人——可见的校准机制是核心所在。
- 任何本季度就需要上线平台、而非等待标准先行正确构建的人。
申请评估计算机科学领域
申请表中已预选计算机科学方向。请附上代码库、ORCID 或 Scholar 个人主页,或已发布工件的链接。