ActPhysCause Challenge

概览

ActPhysCause Challenge 评测具身世界模型能否将机器人动作理解为因果干预，并在任务提示、初始观测和反事实动作条件下生成物理合理、因果一致、可由动作控制的未来视频。

ECCV Workshop 本届只评测 Track 0：根据观测和任务指令生成未来视频。Track 1–3 仅作为公开的后续研究路线图，不是本届竞赛赛道。数据集只有两个划分：训练集和评测集。

1本届评测赛道

3后续赛道

2个数据划分

1个评测服务器

TBD注册时间

本届赛道与后续路线图

本届 ECCV Workshop 唯一开放的竞赛赛道是 Track 0。Track 1–3 描述 benchmark 的后续扩展方向。

Track 0 ECCV 2026

未来视频生成

根据观测和任务指令生成未来视频。

输入：context video + goal instruction

输出：future video

Track 1 To be continued

视频-动作联合生成

预测下一段动作块和执行后的视觉 rollout。

输入：context video + action history + goal instruction

输出：future action chunk + future video

Track 2 To be continued

动作修正

给定坏动作，输出改进后的动作和修正后的 rollout。

输入：context video + action history + goal instruction + bad action chunk

输出：delta action / corrected action chunk + corrected future video

Track 3 To be continued

因果动作选择

根据候选动作导致目标结果的可能性进行打分和排序。

输入：context video + action history + target effect + candidate actions

输出：action scores / ranking / selected action

本届 ECCV Workshop 只对 Track 0 计分并发布榜单。Track 1–3 仅作为后续研究路线图展示。

数据集

当前 release 为 track0_v0，包含固定头部相机视角下的 50 个双臂桌面操作任务。

训练集：2,000 个 episode，按任务分组，包含首帧、指令、元信息和真值视频。
评测集：500 个匿名样本，包含首帧、指令和提交规格，评测标注不公开。
格式：640 x 480 RGB 首帧，固定头部相机视角，H.264 视频。

数据集已发布：Track 0 的训练集和评测集已在 Hugging Face 发布。打开官方数据集页面。

最新数据集总览：源任务、数据结构、数据划分和 benchmark 路线图。 — 最新数据集总览。本届 ECCV 竞赛范围为 Track 0；图中的 Track 1–3 为 benchmark 后续规划。

挑战总览与数据样例

下图展示 benchmark 的整体路线图；随后的视频样例均来自 Track 0 训练集，目标输出为未来机器人操作视频。

最新挑战总览图，展示 benchmark 路线图中的具身操作样例。 — 最新挑战总览。本届 ECCV 的正式竞赛赛道为 Track 0；Track 1–3 保留为后续路线图。

click_alarmclock / episode0

点击闹钟按钮

Click the center button on the alarm-clock with digital display's top side.

77 frames · 30 fps · 640 x 480 · right arm

click_bell / episode0

按响铃铛

Press the center top of the bell with metallic top and plastic base.

80 frames · 30 fps · 640 x 480 · left arm

turn_switch / episode0

拨动开关

Activate the smooth tan switch with textured sides with the left arm.

93 frames · 30 fps · 640 x 480 · left arm

beat_block_hammer / episode0

用锤子敲击方块

Grab the silver hammer using the right arm, then beat the block.

124 frames · 30 fps · 640 x 480 · right arm

open_laptop / episode0

打开笔记本电脑

Open the medium foldable silver laptop completely.

184 frames · 30 fps · 640 x 480 · left arm

grab_roller / episode0

双臂抓取滚筒

Securely grab the light brown wooden roller using both arms.

93 frames · 30 fps · 640 x 480 · dual-arm grasp

move_can_pot / episode0

移动罐头到锅旁

Take the sauce can with the right arm, bring it, and set it next to the silver kitchen pot.

157 frames · 30 fps · 640 x 480 · right arm

rotate_qrcode / episode0

旋转二维码牌

Grab the tabletop payment sign, lift it from the table, and rotate it QR front.

154 frames · 30 fps · 640 x 480 · left arm

handover_block / episode0

双臂交接方块

Lift, switch arms, and place the red block.

286 frames · 30 fps · 640 x 480 · dual-arm handover

place_burger_fries / episode0

放置汉堡和薯条

Set the hamburger and fries box down on the bright orange rectangular tray after picking them.

245 frames · 30 fps · 640 x 480 · dual-arm placement

shake_bottle / episode0

摇晃瓶子

Use the left arm to pick and shake the bottle with brown body and white top.

253 frames · 30 fps · 640 x 480 · left arm

stack_blocks_two / episode0

堆叠两个方块

The left arm takes red block, sets it in the center, then places green block on red block.

308 frames · 30 fps · 640 x 480 · left arm

评测指标

本届 ECCV Workshop 仅评测 Track 0。评测重点是未来视频质量，以及生成 rollout 与任务指令和真值轨迹的一致性。

Track 0 评测框架，包含 RCS100、质量指标、保真度指标、帧对齐、加权汇总和防刷分验证。 — Track 0 使用单一的 RCS100 分数，同时整合免参考的视频质量与相对真值的保真度。在窄屏设备上可横向滑动查看完整指标框架。

赛道	主要评测重点	代表性指标
Track 0	未来视频质量和目标一致性	视频质量、时序连贯性、物理合理性
Track 1	动作质量和视频-动作一致性	动作相似度、可行性、任务成功代理指标、rollout 一致性
Track 2	从坏动作到修正动作的提升	Action improvement、success gain、delta accuracy、feasibility
Track 3	因果动作排序	Top-1 accuracy、Top-k accuracy、pairwise accuracy、hard-negative accuracy

提交

官方 starter kit 会包含格式检查脚本。参赛团队需要通过提交入口上传评测集预测结果。

{
  "sample_id": "scene_000123",
  "track": "track3",
  "action_scores": {"A": 0.91, "B": 0.42, "C": 0.08},
  "ranking": ["A", "B", "C"],
  "selected_action": "A"
}

榜单

榜单	状态	说明
Track 0	即将开放	未来视频生成排名。
Track 1	即将开放	视频-动作联合生成排名。
Track 2	即将开放	动作修正排名。
Track 3	即将开放	因果动作选择排名。
Overall	即将开放	可选的跨赛道综合排名。

重要日期

事项	日期
网站上线	2026-07-07
团队注册开放	TBD
训练集和评测集发布	TBD
提交入口开放	TBD
最终提交截止	TBD
ECCV Workshop 展示	TBD

组织者

举办单位

X-Era AI
Sun Yat-sen University
University of Technology Sydney
The Hong Kong University of Science and Technology (Guangzhou)

Challenge Organizers

Tianshui Chen, X-Era AI
Jusheng Zhang, Sun Yat-sen University
Qinhan Lyu, Sun Yat-sen University
Tongyu Mo, Sun Yat-sen University
Ruichong Gao, Sun Yat-sen University
Zijie Liang, Sun Yat-sen University
Keze Wang, Sun Yat-sen University
Wenhao Wang, University of Technology Sydney
Sidi Liu, The Hong Kong University of Science and Technology (Guangzhou)

概览