概览
任务特点
竞赛级任务
源自浏览器操作竞赛,任务难度较高
综合能力
考察多种浏览器操作技能的综合运用
快速开始
运行任务
评估结果
数据加载
BrowseComp 支持本地 JSONL 文件或 HuggingFace 下载。使用 HuggingFace:评估指标
数据格式
任务数据存储在benchmarks/BrowseComp/data/:
Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
浏览器操作竞赛任务评测
| 属性 | 值 |
|---|---|
| 任务类型 | 浏览器操作 |
| 评估方式 | Grader 评分 |
| 难度 | 中高 |
# 运行前 3 个任务
bubench run \
--agent browser-use \
--data BrowseComp \
--mode first_n \
--count 3
# 使用 Agent-TARS 运行
bubench run \
--agent Agent-TARS \
--data BrowseComp \
--mode first_n \
--count 3
bubench eval --agent browser-use --data BrowseComp --model-id bu-2-0
bubench run --agent browser-use --data BrowseComp \
--data-source huggingface
| 指标 | 说明 |
|---|---|
| Task Completion | 任务完成率 |
| Accuracy | 结果准确率 |
benchmarks/BrowseComp/data/:
{
"task_id": "browsecomp_001",
"task": "Navigate to the website and complete the registration form",
"expected_result": "Registration successful"
}