具身智能
具身智能研究，评估始于离开仿真器之后
当一个学到的策略必须跑在会坏的硬件上时，研究能力如何显现，以及创始评估 cohorts 将以何种标准衡量它。以下内容均为有意公开的草稿。
什么算作具身智能研究技能的证据
这个领域的根本问题在于，它的头条数字太廉价。仿真里的成功率抬高起来毫无成本——改一下复位分布、调一下奖励、只报最好的种子——而同一个策略搬到真实硬件上，可能连十分之一都达不到。因此，研究技能的证据就是关于迁移的证据：策略在物理系统上做到了什么，跑了多少次试验，以及在多大程度上是在作者没有事先挑选过的条件下。
试验次数与失效分类比基准分数携带更多信号。二十次真机 episode、每一次失败都被归类，能告诉评估者的东西多于一条没有任何归类的榜单成绩，因为判断力恰恰活在归类里：一次失败究竟属于感知、控制、标定还是机械故障，这是作者必须自己挣来的主张。
这门学科的可复现性格外困难，也格外有信息量。硬件会漂移，标定会老化，在一条机械臂上有效的策略换到它的同型机上未必有效。报告跨平台或跨会话结果的研究者——包括那些表现下降的结果——恰恰是在给评估者这个领域的激励机制最不鼓励产出的东西。
最难看见的技能，是对安全干预与复位的诚实记账。每小时的人工干预次数、被排除在统计之外的复位、因为某个部件快要损坏而被提前中止的 episode：正是这些细节把一次演示与一项结果区分开来，而它们几乎从不出现在摘要里。
具身智能评估量规（第一稿）
这份量规以一位持怀疑态度的复现者观看演示视频的方式阅读具身工作：看镜头之外发生了什么，以及这项主张离开它诞生的实验室后还剩下多少。
- 仿真到实机的记账
- 仿真结果与实机结果分别报告且可比，迁移差距作为一项发现写出来，而不是被抹平。为缩小差距而施加的随机化与调参须予以披露。
- 试验方案的完整性
- 试验次数、随机种子、复位流程、人工干预与被排除的 episode 都要报告。工况在评测前固定，而非事后挑选，无论哪一种，选取规则都要写明。
- 失效刻画
- 失效按子系统与机理分类，而不是只计数，并给出把感知失效与控制、标定或硬件失效区分开来的依据。
- 本体泛化
- 主张的边界，就是实际测试过的平台与条件。跨机器人、跨会话或跨环境的迁移要被证明而非被断言，出现性能下降之处要如实报告。
创始具身智能评估者将首先攻击这份草稿——包括拿他们自己的演示与基准成绩来检验。
评估标准的初稿可能包含项目合作伙伴的贡献。合作伙伴在评分中不具任何分量。
创始具身智能评估者将做什么
拆解量规：哪里在惩罚那些确实无法上到硬件的工作，哪里在过度奖励昂贵的机器人机群，哪个维度仅凭一篇论文和一段视频根本无法评分。
在公开作品上运行校准轮次——公开的基准成绩、已开源的策略与数据集、复现尝试、会议演示——独立评分并比较离散度，让首批公布的分数带着已知的误差，而不是这个领域惯有的自信。
确立一项可信的真机主张必须报告哪些内容，并把它作为标准公开，让社区据以要求所有成果——包括社区自己的。
适合谁
创始 cohorts 寻找的是系统必须经受与真实世界接触的研究者，无论其工作于何处：
- 机器人学习研究者，报告真机结果，并希望报告方式本身被评判。
- 控制与感知工程师，其部署工作从来不会变成论文。
- 复现与基准维护者，已经尝试过重跑别人的主张。
- 产业界的具身智能从业者，其证据是机群数据而不是一条榜单。
不适合谁
自我选择比我们写出的任何筛选都重要，所以这是诚实的版本：
- 只为证书而来的人——创始阶段产出的是标准，不是徽章。
- 证据只是一段背后没有任何试验方案的演示视频的人；这份量规正是为追问视频省略了什么而建的。
- 不愿被追踪评估准确度的人——校准记录正是这个设计的要点。
- 今天就需要一个可用的评分平台的人；本页所述机制仍在设计中，时态是刻意的。
申请评估具身智能
申请表中具身智能已预选。请链接我们能阅读的作品——一份真机评测、一个已开源的策略或数据集、一份复现报告、ORCID 或代码库主页。