以证据评估研究能力

评估将如何运作

该设计以校准为核心，而非以权威为核心。评估者将独立对产出物打分；其分数将与整体分布进行比较，并在有结果可循时与实际结果对照；每位评估者的准确性记录将累积在其个人主页上——按学科统计，从不做全局汇总。

这份记录是维持系统公正的关键。一位判断持续无法得到验证的评估者，其权重将低于一位判断屡屡得到证实的评估者，无论其头衔如何。资历可以在这里赢得关注；只有校准才能赢得权重。

评分标准公开，这是有意为之的设计。一个经不起被评估对象审视的标准，不值得以此打分。每个学科页面会发布当前评分标准草案，创始评估者将在标准正式应用于任何人之前，对其进行压力测试和修订。

以上内容刻意使用了将来时。评分、校准记录、评估小组等机制已完成设计并正在建设中，尚未上线。现在加入意味着参与塑造它们，而非使用它们。

值得先问的问题

评估平台现在已上线了吗？

还没有。评分标准已公开，创始队列正在组建中，但平台上尚未进行任何评估打分。现在加入意味着加入设计阶段：创始评估者首先要做的是对本学科标准进行压力测试，而不是处理评估队列。

这需要我投入多少时间？

评估是阶段性的，付出的精力更接近于审稿一篇短文，而非加入一个常设委员会。在创始阶段，主要工作是对本领域的评分标准草案提出意见，可以在正常工作周的间隙完成。

申请需要博士学位、教职或研究岗位吗？

三者都不需要。申请要求的是我们能够阅读的工作证据——可以是论文或预印本，同样也可以是一份分析、一个研究设计、一件有分量的技术成果或一个代码仓库。产业界的研究者、职业生涯早期的科学家，以及在研究头衔之外从事严谨工作的人，正是资历体系低估的那批人；这一落差也是建立本社区的原因之一。

如果我觉得自己没有资格评估这些学科中的任何一个，该怎么办？

那么你对这一期成员的理解是准确的，而你仍然可能属于其中。这十五个学科是首批评分标准正在起草的地方，而不是你必须已经身处其中的十五个圈子。这项工作需要的不只是学科专长：评分标准设计、研究设计、统计、可重复性工程、数据与工具，都是各自独立的能力，很少集于一人之身，而创始阶段正是把它们结合起来的阶段。评估中的分量由记录在案的校准赢得，因此没有人会被要求为自己尚未展示过的判断背书。

创始评估工作有报酬吗？

没有。创始评估者获得的是切实但不同的回报：真正参与制定标准，并参与塑造校准记录（该记录已完成设计、正在建设中），以及在一个旨在让优质判断得以可见的社区中拥有地位。如果评估日后引入报酬，相关方案将与创始队列公开共同制定。

我在申请中提交的材料会如何处理？

仅用于审核申请，别无他用。申请表链接至公开产出物——ORCID、代码仓库、预印本——而非要求上传未发表的工作，申请材料不会在审核之外共享。