心理学
心理学研究，在复制危机之后接受评估
心理学判断力如何在期刊补充材料之外得以体现，以及创始群体将据以评判的标准。以下内容均为有意公开的草稿。
哪些内容可作为心理学研究能力的证明
心理学比大多数学科更早、更彻底地改革了证据文化：预注册、注册报告、开放数据与材料，以及大型多实验室复制项目如今已成为常态。在最终报告中恪守的预注册，或能从原始数据重现每一个报告数值的分析脚本，比结果最终发表的期刊更能说明能力。
在学术界之外，同样的判断力支撑着用户体验研究、临床结果测量和人力分析团队的工作。设计出真正分离了所声称变量的可用性研究的人，或验证了一项产品团队能够信赖的临床测量工具的人，无论是否冠以此名，做的都是心理学研究。
从发表列表中最难看出的，是哪些内容未能进入其中：一项统计效力充足却一无所获的研究，一项失败却仍被如实报告的操纵检验。评估者正是在寻找这种坦诚，因为该领域的可信度正是由此重建的。
审稿工作本身也是证明。注册报告的评审、针对某一具体主张的复制尝试，以及识别出p值操纵分析的公开批评，都调用了这个学术群体赖以评分的同一种文献解读能力——且无需任何人许可即可被看见。
心理学评估标准，初稿
本标准写就于复制危机的阴影之下，将预注册的零结果视为比灵活得出的阳性结果更强的能力证明。
- 测量效度
- 工具与操纵手段确实测量了其声称测量的构念，并有证据支持，且该构念不会在方法与结论之间悄然漂移。
- 分析纪律
- 分析要么预先设定，要么明确标注为探索性；稳健性在合理的分支路径上得到展示；分叉路径的花园是被关闭的，而非被隐藏的。
- 样本与主张的匹配度
- 统计效力、抽样框架与总体与结论所声称的相符，局限性被计入解释本身，而非搁置在脚注里。
- 复制透明度
- 数据、材料与代码以他人能够真正核查结果的形式共享，此前失败或零结果的尝试被如实披露，而非被束之高阁。
心理学创始评审员将首先对该草稿进行压力测试——包括与其自身过去的工作相互对照。
评估标准的初稿可能包含项目合作伙伴的贡献。合作伙伴在评分中不具任何分量。
心理学创始评审员的职责
首先，拆解这套评分标准：找出它在哪些地方奖励了预注册的表演而非真正的严谨性，在哪些地方惩罚了诚实声明自身为探索性的工作，以及哪些维度根本无法从真实成果中评分。
然后对公开研究进行校准轮次——将预注册与实际结果对照、复制目标、应用性评估——各自独立评分并比较差异，使首批公开的评分附带已知的不确定性。
随着社区的开放，这些校准记录将为权重系统提供基础数据：最早的心理学家，其评估历史本身就是评估工具的一部分。
适合哪些人
创始队列正在寻找判断力已在日常工作中发挥作用的心理学家，无论他们身处何处：
- 在读摘要之前先读预注册的定量与临床研究者。
- 最佳研究成果从未发表于期刊的用户体验研究者与人力分析科学家。
- 从事该领域回报最少却信息量最大的工作的复制研究者与元科学研究者。
- 在开放科学规范中成长、希望这份训练能够被计入的早期研究者。
不适合哪些人
自我筛选比我们设置的任何门槛都更重要，以下是坦诚的说明：
- 追求快速获得资质认证的人——创始阶段产出的是标准，而非徽章。
- 希望推广自身研究发现的研究者；此处的评估对象是他人的成果，依据已公开的评分标准进行。
- 不愿接受评估准确性被追踪的人——校准记录正是整个设计的核心所在。
- 现在就需要一个可用评分平台的人；本页所描述的机制仍在设计阶段，这个时态是有意为之的。
申请成为心理学评估员
申请表中已预先选择心理学方向。请附上可供查阅的 OSF 页面、ORCID 主页或代码仓库。