排行榜 - browseruse-bench

browseruse-bench 提供自动化的排行榜生成功能，帮助你对比不同 Agent 在各个 Benchmark 上的表现。

功能特性

多维度对比

成功率、步骤数、耗时、Token 消耗

交互式界面

支持筛选、排序、详情查看

任务级分析

查看每个任务的执行详情和轨迹

错误分析

失败任务分类统计和可视化

快速开始

生成排行榜

# 自动收集所有评估结果，生成 HTML 排行榜
bubench leaderboard

启动服务器

# 前台运行，适合开发调试
bubench server
# 访问 http://localhost:8000

# 安装服务（生产环境推荐）
sudo bubench service install

# 启动服务
sudo bubench service start

# 设置开机自启
sudo bubench service enable

# 如果已配置别名
start_leaderboard

服务配置说明

bubench service 会从 config.yaml 读取 systemd 配置：

service:
  name: benchmark-server
  description: BrowserUse Bench Leaderboard Server
  user: ubuntu
  group: ubuntu
  host: 0.0.0.0
  port: 8000
  log_path: /var/log/browseruse_bench/benchmark_server.log
  restart_sec: 10
  limit_nofile: 65535

可选的环境变量覆盖：

BU_SERVICE_NAME
BU_SERVICE_DESCRIPTION
BU_SERVICE_USER
BU_SERVICE_GROUP
BU_SERVICE_HOST
BU_SERVICE_PORT
BU_SERVICE_LOG_PATH
BU_SERVICE_RESTART_SEC
BU_SERVICE_LIMIT_NOFILE

界面预览

排行榜概览

展示所有 Agent × Benchmark 组合的成功率、步骤数、耗时等指标：

支持勾选多个 Agent 进行对比
点击行可跳转到任务详情
错误类别柱状图可点击筛选

任务详情

每个任务展示：

任务 ID 和描述
操作历史（可展开）
轨迹截图（可翻页）
时间和 Token 统计
评估结果和错误分析

用户提交格式

如果你想提交自己的评测结果，需要按以下格式组织：

目录结构

experiments/
└── <BenchmarkName>/
    └── <AgentName>/
        └── <Timestamp>/           # 例如 20251208_114207
            └── tasks/
                └── <task_id>/
                    ├── result.json     # 必需：任务运行结果
                    └── trajectory/     # 可选：截图序列
                        ├── 0_screenshot.png
                        └── ...

result.json 格式

{
  "task_id": "005be9dd91c95669d6ddde9ae667125c",
  "task": "在淘宝上搜索 iPhone 15",
  "action_history": ["打开淘宝", "输入 iPhone 15", "点击搜索"],
  "model_id": "gpt-4o",
  "browser_id": "Chrome-Local",
  "metrics": {
    "steps": 5,
    "end_to_end_ms": 9879,
    "usage": {
      "total_tokens": 1234,
      "total_cost": 0.0123
    }
  },
  "config": {
    "timeout_seconds": 300
  }
}

成本说明

如需查看 token 与 cost 的详细统计逻辑（token 来源、价格表来源、计算公式），请参考：

成本统计

评估后的数据

提交后系统会自动评估，生成：

experiments/
└── <BenchmarkName>/
    └── <AgentName>/
        └── <Timestamp>/
            ├── tasks/                    # 原始数据
            └── tasks_eval_result/        # 自动生成
                └── <EvalName>_results.json

评估添加的字段：

predicted_label：1 = 成功，0 = 失败
evaluation_details：得分、评估响应、失败类别

服务管理命令

# 查看服务状态
sudo bubench service status

# 查看日志
sudo bubench service logs

# 重启服务
sudo bubench service restart

# 停止服务
sudo bubench service stop

​功能特性

多维度对比

交互式界面

任务级分析

错误分析

​快速开始

​生成排行榜

​启动服务器

​服务配置说明

​界面预览

​排行榜概览

​任务详情

​用户提交格式

​目录结构

​result.json 格式

​成本说明

​评估后的数据

​服务管理命令