Android Bench 2 Adds Support for Long-Horizon Tasks, Agentic Evaluation, and Continuous Scoring

Android Bench 2 支持长期任务、智能体评估和持续评分 - InfoQ

InfoQ 首页 News Android Bench 2 支持长期任务、智能体评估和持续评分

移动开发

QCon 旧金山（11 月 16-20 日）：深入技术会议。改变你思维方式的同行对话。

Android Bench 2 支持长期任务、智能体评估和持续评分

2026 年 10 月 9 日 2 分钟阅读

作者：

• Sergio De Simone

#### 关注我们

YouTube

232K 粉丝

LinkedIn

26K 粉丝

Instagram

新

RSS

19K 读者

X

57.1k 粉丝

Facebook

21K 喜欢

Bluesky

收听本文 -

0:00

音频准备播放

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

• 阅读列表

谷歌发布了 Android Bench 2.0，这是其用于评估 Android 开发任务中 AI 模型和智能体的基准框架的重大更新。此次更新引入了长期任务（LHTs）、基于智能体的评估和持续评分，以更好地评估复杂、多步骤开发任务的性能。

在几个月前发布时，Android Bench 通过一系列常见开发任务评估 AI 模型，涵盖权限、导航和连接性等 Android 最佳实践领域。随着最新版本的发布，谷歌已将基准扩展到涵盖更广泛的开发任务。

今天，我们发布了首批长期任务（LHT），这些任务具有很高的复杂性，可能需要工程师花费数天甚至一周时间才能完成。我们还引入了智能体评估，首先从对应模型提供商的智能体开始。

原始版本专注于现有代码库的渐进式修改，而 Android Bench 2.0 引入了谷歌描述为“可能需要工程师花费数天甚至一周时间才能完成”的长期任务（LHTs）。这些任务包括升级依赖项、添加新功能、从零开始构建应用，或将跨平台应用转换为 Android。

2.0 版本的一项重大变化是从二元通过/失败评估转向更细致的评分系统。此前，一个复杂任务可能因为单个失败的边缘情况断言而被标记为失败，即使智能体已成功满足数十项其他要求。

我们通过功能、视觉保真度和避免回归等因素的综合计算来确定完成率。我们还会对偏离评估指令或结构约束的情况施加客观评分惩罚。

Android Bench 2.0 提供的结果还有助于识别哪些任务更可能借助 AI 助力取得成功。例如，谷歌报告称“AI 在编写新代码方面比重构现有代码表现更好”，这可能反映出重构和迁移需要对代码库的架构复杂性有深入理解。

同样，AI 在多个“已确立的、确定性转换”任务中表现良好，即使在更大的代码库中也是如此。例如包括将 Java 转换为 Kotlin、将 Retrofit 替换为 Ktor，或引入 ViewModel 层。

相反，在许多情况下模型仍然面临挑战，包括需要运行时验证的任务（如缺少依赖注入图）、涉及框架重大变更的情况，或在未发布库的知识空白领域遇到困难。特别是，当前最先进的模型在将跨平台应用移植到 Android 时，完成率仅为 80%，这仍然是一个"开放性挑战"。

更新后的 Android Bench 2.0 仪表板包含了最新模型，如 Gemini 3.8 Flash、Gemini 3.7 Flash、OpenAI GPT-6、Anthropic Fable 5.1、Kimi K3 和 Qwen 3.8 Max。截至文章发布时，Claude Opus 5.5 以 32% 的 LHT 通过率位居榜首，其次是 GPT 6 Astra 的 28%。

作者部分主容器

关于作者

章节标题

每位作者的主容器

#### Sergio De Simone

显示更多

显示更少

#### 本内容属于移动技术主题

##### 相关主题：

• 开发
• 架构与设计
• 人工智能、机器学习与数据工程
• 大语言模型
• Android
• AI 编程代理
• 基准测试
• Google
• 移动技术
• 相关编辑内容
• 相关赞助商
• 相关赞助商 2026 年 12 月 15-16 日。探讨资深从业者如何在生产环境中运行代理、评估、模型服务和 AI 协助工程，包括哪些失败了以及发生了哪些变化。立即注册

InfoQ 新闻通讯

每周二发送上周 InfoQ 内容摘要。加入超过 25 万名高级开发者的社区。查看示例

我们保护您的隐私。