独立评估

your_results_dir/
├── task_1/
│   ├── result.json                    # 必需
│   └── trajectory/                    # LexBench-Browser 和 Online-Mind2Web 需要
│       ├── 0.png
│       ├── 1.png
│       └── ...
├── task_2/
│   ├── result.json
│   └── trajectory/
└── ...

{
  "task_id": "string",       // 必需:必须与 Benchmark 任务 ID 匹配
  "task": "string",          // 必需:任务描述
  "answer": "string",        // 必需:Agent 的最终答案
  "model_id": "string",      // 推荐:模型标识符
  "browser_id": "string",    // 推荐:浏览器标识符
  "metrics": {               // 可选:性能指标
    "steps": 5,
    "end_to_end_ms": 12000,
    "ttft_ms": 800
  }
}

{
  "task_id": "task_001",
  "task": "查找邮编 90028 最近的 Trader Joe's 商店位置和营业时间，并将其设置为我的主门店",
  "answer": "最近的商店是 Hollywood (206),地址为 1600 N Vine St, Los Angeles, CA 90028。营业时间:周一至周日 8:00 AM - 9:00 PM",
  "model_id": "gpt-4o",
  "browser_id": "Chrome-Local",
  "metrics": {
    "steps": 8,
    "end_to_end_ms": 45000,
    "ttft_ms": 1200
  }
}

task_001/
├── result.json
└── trajectory/
    ├── 0.png                      # 初始页面截图
    ├── 1.png                      # 第一个操作后
    ├── 2.png                      # 第二个操作后
    └── ...

bubench eval \
  --data LexBench-Browser \
  --agent your-agent-name \
  --model-id <your-model-id> \

experiments/LexBench-Browser/All/your-agent-name/{timestamp}/tasks/

{
  "task_id": "b7258ee05d75e6c50673a59914db412e_110325",
  "task": "查找邮编 90028 最近的 Trader Joe's 商店位置和营业时间,并将其设为我的主门店",
  "answer": "最近的商店是 Hollywood (206),地址为 1600 N Vine St, Los Angeles, CA 90028,已设为您的主门店。",
  "action_history": [
    "<a href='https://www.traderjoes.com/'> -> NAVIGATE",
    "<vision> -> VISION_CONTROL: 点击'Select your store'链接",
    "<vision> -> VISION_CONTROL: 在输入框中输入'90028'",
    "<vision> -> VISION_CONTROL: 点击'SEARCH'按钮",
    "<vision> -> VISION_CONTROL: 点击'SET AS MY STORE'按钮"
  ],
  "model_id": "gpt-4o",
  "browser_id": "Chrome-Local",
  "metrics": {
    "steps": 6,
    "end_to_end_ms": 48904,
    "ttft_ms": 1991
  }
}

b7258ee05d75e6c50673a59914db412e_110325/
├── result.json                # 必须包含 action_history
└── trajectory/
    ├── 0.png
    ├── 1.png
    └── ...

bubench eval \
  --data Online-Mind2Web \
  --agent your-agent-name \
  --model-id <your-model-id> \

experiments/Online-Mind2Web/20251214/All/your-agent-name/{timestamp}/tasks/

{
  "task_id": "task_browse_001",
  "task": "截至 2023 年东京的人口是多少?",
  "answer": "截至 2023 年,东京市区人口约为 1400 万人,大都市区人口约为 3700 万人。",
  "model_id": "gpt-4o",
  "browser_id": "Chrome-Local",
  "metrics": {
    "steps": 3,
    "end_to_end_ms": 15000
  }
}

task_browse_001/
└── result.json                # 不需要 trajectory/

bubench eval \
  --data BrowseComp \
  --agent your-agent-name \
  --model-id <your-model-id> \

experiments/BrowseComp/All/your-agent-name/{timestamp}/tasks/

bubench eval \
  --data <BENCHMARK_NAME> \
  --agent <YOUR_AGENT_NAME> \
  --model-id <MODEL_ID> \

{
  "task_id": "task_001",
  "task": "...",
  "predicted_label": 1,           // 0 = 失败, 1 = 成功
  "evaluation_details": {
    "score": 85,                   // Benchmark 特定分数
    "grader_response": "...",      // LLM 评估推理
    // ... Benchmark 特定字段
  },
  "model_id": "gpt-4o",
  "browser_id": "Chrome-Local"
}

{
  "overall_statistics": {
    "success_rate": 75.5,
    "total_tasks": 100,
    "successful_tasks": 75,
    "failed_tasks": 25
  },
  "metrics_statistics": {
    "steps": {
      "mean": 8.5,
      "median": 7,
      "min": 2,
      "max": 25
    },
    "end_to_end_ms": {
      "mean": 45000,
      "median": 42000
    }
  },
  "evaluation_cost": {
    "total_prompt_tokens": 125000,
    "total_completion_tokens": 8500,
    "costs": {
      "total": 3.25,
      "input": 2.50,
      "output": 0.75
    }
  }
}