来源节选(非本站原创长文,完整内容请见来源)
物理AI基模的核心,是从真实经验中学习可迁移的物理规律,形成理解、预测和作用于物理世界的能力。真实世界的数据里藏着丰富的物理信息:互联网视频记录运动与环境演化,Egocentric呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补充接触力、滑移与形变,不同数据共同提供了互补的物理经验。如何衡量、提炼和耦合这些数据中的物理特性,是构建物理AI基模亟待解决的基础问题。
围绕这一问题,智源研究院联合逆矩阵、北京大学、清华大学、北京航空航天大学推出悟界·PhysCapBench——首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域,统一评测视频Caption物理信息的基准。 悟界·PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning跨领域视频描述物理信息评测基准它从视频描述入手,统一度量描述对物理信息的覆盖与保真,为描述策略选择、标注质量评估和训练数据优化提供一把跨领域的“物理数据量尺”。
图1:悟界·PhysCapBench整体框架——跨领域数据、物理标注、描述评测与下游验证 世界模型缺的物理信息,可能就藏在一段Caption里。在世界模型预训练数据的建设中,我们持续观察到:面对第三人称场景、第一人称操作与手持夹爪示范等不同来源的视频,现有Capt…
来源:雷峰网