社会科学
社会科学研究：在复制危机之后的评审
过去十五年让社会科学深刻认识到灵活分析对文献的影响。以下草拟的评审标准正是在这一阴影下写就，创始队列将以此严格审视证据。
何为社会科学能力的有效证据
社会科学在公众视野中完成了证据改革：预注册、注册报告、开放数据与材料、大规模复制项目。一份在最终论文中被忠实遵守的预注册，或一项公平进行的复制研究，如今是该领域所产出的最清晰研究能力证明——其说服力往往超过大多数发表记录。
设计是体现判断力的关键所在。一个真正隔离因果的自然实验、一个切实测量所命名构念的工具、一份抽样框架与其主张相符的调查——这些成果来之不易，有经验的读者仅凭成果本身即可对其打分。
在学术界之外，同样的技能驱动着政策评估、用户体验研究项目和人员分析团队。为政府部门开展的试点项目，或如实报告零效果的项目评估，都是一流的研究工作——而从事这些工作的人，往往没有引用次数可以展示。
审稿能力也留有自身的记录：注册报告的审阅、预注册的红队解读、指出作者所遗漏混淆变量的已发表评论。方法论服务同样如此——验证量表、构建调查面板、撰写团队实际遵循的效能分析。这些成果精准呈现了评审所需的判断力，且无需任何人授权即可查阅。
社会科学评审标准（第一稿）
本标准写于复制危机之后，将预注册的零效果视为比灵活正效果更有力的能力证明。
- 识别策略
- 研究设计须能隔离其所主张的因果关系，识别效度的威胁须被明确点名并加以应对，而非一笔带过。
- 测量效度
- 测量工具须有据可查地测量其所声称的构念，且构念在测量与结论之间不得发生漂移。
- 分析规范
- 分析选择经过预先说明或透明探索，稳健性在合理路径分叉下均有体现，分叉路径的花园已被关闭，而非隐藏。
- 泛化诚实性
- 结论须明确所涵盖的总体范围，样本局限性已纳入结论权衡，外部效度需经论证而非假定成立。
社会科学创始评估员将以预注册研究和危机前研究为参照共同打磨本草案，确保标准对两个时代均公平定价。
评估标准的初稿可能包含项目合作伙伴的贡献。合作伙伴在评分中不具任何分量。
社会科学创始评估员的职责
在最难评分的领域挑战评分标准：定性研究、混合方法，以及预注册确实难以实施的研究设计。
针对公开研究开展校准轮次——对照预注册与研究结果、复现目标、应用评估——并深入研究受训读者之间的分歧。
积累该学科的首批校准记录，在社区向更广泛领域开放时，这些记录将成为评估权重的锚点。
适合人群
本批次需要这样的社会科学家：在过去十五年中保持了怀疑精神，同时好奇心依然如故：
- 在阅读摘要之前先读方法和预注册的定量研究者。
- 从事政策、用户体验和人员分析的应用研究者，其最佳研究从未发表于期刊。
- 从事复现研究和元科学研究的学者，他们完成了该领域回报最少、信息量最大的工作。
- 接受开放科学规范培训的早期职业研究者，希望这份培训能得到认可。
不适合人群
以评分标准对所有人的要求，直白说明如下：
- 任何希望借此平台推广自身研究成果的人——评估员在此阅读的是他人的工作。
- 将方法论审查视为敌意的研究者；评分标准对所有人一视同仁。
- 不愿公开留存评分准确性记录的任何人。
- 期望今天就能进行实时评分的任何人，而非等待标准诚实起草完成之后。
申请成为社会科学评估员
申请表中已预选社会科学。请附上 ORCID 或 Scholar 主页链接、OSF 页面，或我们可查阅的应用研究成果。