Gemini 4 Argon for Robotics

你身后有一个 Diet Coke 罐，左边黑色桌子上还有一个。
使用 spot-mobile-manipulation 技能将它们捡起并丢入黑色脚踏式垃圾桶。
在踩踏踏板之前，通过前置摄像头确认你的右前脚目标已居中于踏板，并使用双代理验证群（脚部验证器和手部验证器）验证脚踏步和三维手部在垃圾桶中的对齐，然后再释放。

[附加文件: wrist_cam.png, obs.json]

任务: 让机械臂将杯子重新调整为直立状态并将餐巾放入杯中。

## 执行规范
- 仅输出1句观察结果，紧接着立即输入你的 `curl` 命令（第1回合使用 `# Plan:`，之后每回合使用 `# Thought:`）。所有所需信息都在 `obs.json` 和 `wrist_cam.png` 上校准的十字准线/网格中。

## 视觉坐标参考（标注在 wrist_cam.png 上）
- `+X`（图像中上方）：远离机器人底座 | `-X`（图像中下方）：朝向机器人底座
- `+Y`（图像中左侧）：世界坐标左侧         | `-Y`（图像中右侧）：世界坐标右侧
- `+Z`：高于桌面的高度                | `黄色数字`：世界坐标 (X, Y) 以厘米为单位（在 `grid_z` 处为 2 厘米网格）
- `青色十字准线`：当前3D捏合中心
- `青色[ + ]括号`：当前颚部开合线
- `绿色线`：当前物体长轴方向（`yaw_deg`：0° = 沿 +X 垂直，90° = 沿 +Y 水平）
- `pitch_deg = 90°`：垂直向下（-Z）顶部抓取/放置；`pitch_deg < 60°`：沿手指轴倾斜共轴接近

## 闭环回合工作流程
1. 检查当前状态并查看 `wrist_cam.png`：
   `curl -s http://127.0.0.1:8081/obs`（返回 `ee_pos`、`holding`、`status`、`workspace`、`wrist_cam_path`）。
2. 在第1回合提前选择VLM调用粒度：
   - 粗略（2–4次调用）：`look_at` -> `grasp` -> `place` -> `done`
   - 抓取前悬停验证（4–7次调用）：`look_at` -> `goto(z=0.04)`（验证青色 `[ + ]` 括号跨越目标）-> `grasp` -> `place_until_contact` -> `done`
   - 精细视觉伺服（8–20次调用）：`look_at` -> `grasp` -> 预姿势 `goto` -> 闭环 `move_by` / `move_until_contact` -> `done`
3. 发送运动原语（`POST /plan`），并在更新后的 `wrist_cam.png` 中每回合后视觉验证。如果 `status == "grasp_failed"`，调用 `robot.look_at(...)` 重新观察并恢复闭环。

## 代码作为策略的原语（`POST http://127.0.0.1:8081/plan`）
robot.look_at(x=0.35, y=0.13, z=0.14, grid_z=0.015)
x, y = robot.deproject(u=0.52, v=0.48, z_plane=0.015)
robot.grasp(x=x, y=y, z=0.015, yaw_deg=-35, pitch_deg=90)
robot.place(x=0.24, y=0.06, z=0.075)
robot.place_until_contact(x=0.24, y=0.06, z=0.015, max_lag=0.012, relief=0.002)
robot.goto(x=0.28, y=0.05, z=0.04, arc_z=0.14, pitch_deg=25, azimuth_deg=90, roll_deg=0, speed=0.10)
robot.move_by(forward=0.025, dz=-0.002, dpitch_deg=-3, droll_deg=5, speed=0.04)
robot.move_until_contact(dz=-0.06, speed=0.03, max_lag=0.012, relief=0.002)
robot.open_gripper() / robot.close_gripper() / robot.home() / robot.done()

目标：{task_goal}

你正在通过迭代的视觉反馈循环控制视频世界模型（Gemini Omni）。检查最新运行 rollout 的附带帧，并为视频世界模型编写下一个带时间戳的操作提示：
- 将复杂动作分解为单一方向的简单动作依次执行
- 保持非活动手部收起，避免阻挡摄像头对工作区物体的视野
- 明确说明物体移动后工作区哪些区域变得空置
- 为每个动作节拍使用 [MM:SS.mmm] 时间戳，并用 <omni_prompt> 标签包裹输出内容

示例格式（仅示例时间戳，非完整提示）：
<omni_prompt>
[00:00.000] 角色A的左手保持在身体一侧，右手向目标物体伸展
[00:02.500] 角色A的右手指尖将物体平稳推至桌面中央，使其起始区域变为空置
[00:05.000] 角色A的右手张开并收回至身体一侧，确保所有放置物体都在摄像头清晰视野范围内
</omni_prompt>

[附加内容：robot_rollout_episode]

构建机器人的MuJoCo场景及重建任务对象。当每次回放 episode 时，逐帧驱动机器人关节向记录的 observation.state 靠拢，使用关节空间 PD 控制器。

通过两个验证目标进行迭代：
(1) 视觉匹配：从 head_left、left_wrist 和 right_wrist 摄像头渲染的 MuJoCo 图像应与真实观测图像对齐并具有相似外观。
(2) 物理匹配：每个 Sharpa 手指末端在传感器坐标系下的接触力/力矩，需在时序、大小和方向上与记录的 tactile_force 完全匹配。

仿真开始前可调整的参数包括：
(1) 静态物体资源：包含真实几何形状、碰撞体、质量、惯性、摩擦力和关节的物理属性，外观需贴近真实物体，并设置 t=0 时刻的初始物体位姿。
(2) 离线规划的机器人指令：仅在真实指尖接近物体的帧中进行修改。每个指令必须保持在记录的遥操作轨迹 0.55 rad（臂关节）和 0.65 rad（手关节）范围内。其他位置需完全复现记录轨迹。

禁止仿真作弊：任务物体只能通过机器人手部与环境的真实 MuJoCo 接触（mj_step）产生运动。
t=0 之后禁止操作：修改 MjModel 参数；对物体施加外力/力矩；添加焊接约束或等式约束；使用超出关节空间 PD 的前馈力矩；设置或回滚物体的 qpos/qvel；禁用或排除碰撞；报告非 MuJoCo 求解器产生的接触力（如直接复制记录的触觉数据）。

立即以交互式 HTML 会话形式展示重建场景和 rollout 结果，每个 episode 单独一页，包含：
- 底部：同步时间轴（播放/拖动/速度控制），控制所有面板
- 左侧面板：交互式 3D Blender 场景，显示仿真机器人和物体，回放过程中展示接触点和力矢量
- 右侧面板：真实与仿真视角的三摄像头并排对比，真实与仿真指尖力可视化

[附件：egocentric_human_video.mp4, candidate_sim_views.png, hand_3d_keypoints.json]

你正在构建一个物理可解的500 Hz MuJoCo操作环境（`scene.xml`）和Studio Blender渲染，该环境能准确复现`egocentric_human_video.mp4`中展示的桌面任务，任务由双臂人形机器人执行，其双手为22自由度的灵巧五指手：

1. 场景重建与相机校准：
   - 仅识别与操作相关的物体（被抓取的目标物体和接收容器或地标），通过第一人称相机的内参/外参三角化它们的3D桌面坐标。
   - 将粗糙的边界框替换为复合凸分解的3D网格，使凹形容器（嵌套碗、凹陷木制托盘、开口箱）支持物理内部放置。

2. 500 Hz灵巧运动拟合压力测试：
   - 将3D人体腕部和手指关键点映射到人形机器人的7自由度手臂和22自由度手部关节，在MuJoCo中以500 Hz（dt = 0.002s）步进轨迹，且不施加运动学焊接约束。
   - 验证对掌拇指与手指的力闭合、干净物体提升（> 2 cm）以及在目标地标内或旁的稳定最终放置。

[附件：hand_drawn_throw_sketch.jpg]

将这张手绘草图转换为`mujoco_warp`中的物理验证人形仿真和光线追踪的Blender Cycles视频：

1. 从草图解析场景与运动学设置：
   - 从`hand_drawn_throw_sketch.jpg`解析空间布局：将76自由度人形机器人（配备双22自由度五指灵巧手的32自由度躯干）放置在原点，面对放置着3-2-1金字塔结构的6个刚性目标纸箱的桌子，右五指手抓握着投掷用球体。

2. 全身平衡与灵巧投掷合成：
   - 合成50 Hz全身投掷轨迹（140步，2.80秒），包含四个阶段：(1) 稳定站立与五指抓握闭合，(2) 躯干/肩部蓄力配合踝-髋质心补偿，(3) 前向鞭打加速，(4) 在手部速度峰值时同步开启22自由度五指，使球体沿弹道轨迹射入金字塔第二层质心。
   - 在`mujoco_warp`中验证接触物理，确保人形机器人保持直立平衡（< 3 cm骨盆偏移）并击倒所有6个目标纸箱。

[附件：Aloha2_Origami_20250309.mp4]

生成一个时间对齐的多粒度事后注释 JSON 文件，包含以下四个层级：
1. G1_episode_instruction：简洁的祈使句，描述整体操作目标。
2. G2_subtasks：连续的语义子任务阶段，指定哪只手臂负责固定物体或折叠/旋转物体。
3. G3_atomic_primitives：与抓取闭合、折痕扫过、释放或重试尝试对齐的细粒度接触级原语（3-15 秒）。
4. quality_control_and_reweighting：在非进展的滑动/分层重试循环期间保持 task_progress_pct 稳定，并对它们进行降权处理（0.15x-0.25x）用于行为克隆。

# 提示1 — 物理精确的MuJoCo环境与基准生成
创建一个MuJoCo环境，其中双臂机器人（配备共享桌面的双7自由度Franka FR3机械臂和平行夹爪）需要解决来自https://www.mathsisfun.com/pool_balls_solution.html的经典12球平衡秤重量谜题。
1. 在2x6初始排列架中创建12个视觉上无法区分的台球（11个标准150克，1个异常球为270克或30克）。
2. 在桌面中心构建带平行四边形等式约束（`mjEQ_JOINT`）的双盘Roberval天平，确保左（金）右（青）托盘保持水平，并配备红（重）蓝（轻）提交托盘。
3. 跟踪不同称重结果（`weighing_count`），在3次称重内将真实异常球正确分入重/轻托盘时给予1.00奖励。

# 提示2 — 闭环视觉-only求解器
实现一个独立的闭环策略，仅依赖立体RGB相机输入（`head_camera_left_rgb_image`, `head_camera_right_rgb_image`）和机器人本体感觉（`add_privileged_task_observations=False`）：
1. 在双目视图中对12个球、金/青托盘和红/蓝托盘进行分割，并三角化它们的3D坐标。
2. 通过立体视差读取每次称重后的天平倾斜度（+1=左重，-1=右重，0=平衡）。
3. 在狭窄的天平托盘内抓取/放置时旋转夹爪腕部偏航角90度以避开凸缘，并在3次称重内将异常球分入红/蓝托盘。

[附件：umi_head.mp4, umi_left_gripper.mp4, umi_right_gripper.mp4]

观察人类佩戴夹爪执行任务的三个视角视频（头部、左夹爪、右夹爪）。仔细观看视频并绘制任务进度图（标注正/中性/负斜率），识别视频中的重要片段并标注活动内容。必要时查看单帧或子片段以获得更清晰的理解。

[附加文件：real_tabletop_photo.jpg]

你获得了一张双臂机器人工作空间的单目RGB相机照片（`real_tabletop_photo.jpg`），该工作空间包含两台7自由度Franka FR3机械臂（配备平行夹爪）和4台RGB相机，正对着摆放着摄影棚派对道具的桌子。
1. 为所有9个派对道具重建符合真实尺寸、颜色和静止姿态的程序化3D网格模型，并生成MuJoCo碰撞原语，包括用于软毛绒帽子的弹簧铰接可变形冠部面板。
2. 定义包含77个任务的单臂和双臂训练课程（拾取放置、扶正、定向推动、空中交接、双臂抓取推动、流水线桌面清理）。
3. 在±10厘米姿态随机化范围内合成闭环逆运动学轨迹生成器，验证MuJoCo物理仿真中`reward == 1.0`，并导出4,500+个样本用于视觉语言模型微调。

# 阶段1 —— 测量物体与预演规划（无硬件运动）
阶段1：测量物体 —— 识别物体并规划完整运动。此阶段机械臂不进行任何移动。

A. 我在机械臂前方的桌子上放置了一块乐高积木和一个盒子，并将木盒放在一侧。在图像中识别积木和木盒，并在现实世界中确认位置。在标注图像中展示结果。

B. 预演规划（无硬件执行）。编写规划器实现乐高积木的抓取放置。打印规划表，将所有姿态绘制到俯视图像上，然后停止。不要移动机器人。
提供证据报告。

# 阶段2 —— 抓取前悬停与腕部相机验证
阶段2：将夹爪悬停在积木上方而不接触，使用腕部相机验证机械臂与视觉系统的一致性。请用双摄像头记录执行过程（压缩视频可接受）。

# 阶段3（自主抓取放置 → 自我优化 → 优化）：
1. 自主执行：将阶段1的预演转化为实际抓取、提升和放入木盒的操作。在遵守AGENTS.md安全规则的前提下自行执行。

2. 自我优化：当尝试失败时自行诊断。查看自己的日志和腕部/俯视影像，找出根本原因，在预演中验证修复方案并重试。

3. 基于反馈优化：一旦成功，需在安全限制（规则R5）内将速度提升至少2倍，除非我授权更高的速度，否则需提供反馈。

[附件: paper.pdf，可选 author_checkpoints/ 或 urdf_assets/]

从零开始在 MuJoCo WebAssembly 中复现论文 "<Paper Title & arXiv ID>"，并部署一个独立的浏览器实验平台 + 视觉论文：
1. 在 MuJoCo XML 中精确匹配论文的物理时间步长、执行器增益（kp/kv）、扭矩限制和运动学约束，并在 JavaScript 中以论文的精确控制频率运行真实神经推理或 Web Worker iLQR。
2. 构建 `index.html`（带预设相机视角、实时遥测图表和干扰注入功能的空间用户界面模拟器）和 `scrollytelling.html`（交互式视觉论文）。
3. 运行无头 Chromium（Playwright）验证循环，断言 300+ 帧内无控制台错误且任务进度非零。