The Keyword (blog.google)

Introducing the Multimodal Knowledge Agent benchmark

8.5内容质量
Introducing the Multimodal Knowledge Agent benchmark

TL;DR · AI 摘要

Google推出MKA基准测试,评估多模态代理处理视觉复杂任务的能力,包含200个真实行业任务。

核心要点

  • MKA包含200个任务,覆盖10个行业和83个职业
  • 评分系统由非Google模型构建,与专家评分一致率96%
  • Hugging Face提供10个公开任务用于格式检查

结构提纲

按章节快速跳转。

  1. 介绍MKA基准测试的背景和目标。

  2. MKA通过200个真实行业任务评估代理的多模态推理能力。

  3. 采用非Google模型构建的自动评分系统,确保评分客观性。

  4. 联合10个行业83个职业专家设计任务集。

  5. Hugging Face提供10个公开任务用于格式验证。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • MKA基准测试
    • 任务设计
      • 200个真实行业任务
      • 10个行业83个职业
    • 评分系统
      • 非Google模型构建
      • 96%专家一致性
    • 公开资源
      • Hugging Face 10个公开任务

金句 / Highlights

值得收藏与分享的关键句。

#AI#基准测试#多模态#Google
打开原文

多模态知识代理基准测试:2026年11月

介绍多模态知识代理基准测试

2026年11月10日

|

分享下拉菜单

  • x.com
  • Facebook
  • LinkedIn
  • 邮件
  • 复制链接

由Artificial Analysis开发的多模态知识代理(MKA)基准测试,评估代理如何在视觉复杂的文件中进行推理以解决现实世界的知识工作任务。Gemini 4 Carbon在提供顶级质量的同时,价格仅为同类模型的几分之一。

Rohan Doshi

Google DeepMind高级产品经理

Ben Caine

Google DeepMind研究总监

分享

Safari浏览器的变通方案:当通过<use>引用外部SVG精灵中定义的线性渐变时,Safari无法解析。在此处内联它们可使它们在页面的DOM中可用。

您的浏览器不支持音频元素。

收听文章

[[时长]] 分钟

此内容由Google AI生成。生成式AI为实验性功能

语音

速度

0.75X

1X

1.5X

2X

文章正文

与Artificial Analysis合作,我们推出MKA(多模态知识代理),这是一个新基准测试,旨在评估代理如何在视觉复杂的文件中进行推理以解决现实世界的知识工作任务。

介绍MKA

大多数知识工作基准测试仅需文本即可解决,无需查看图像或页面布局。然而,日常专业工作却大不相同。在许多行业中,日常工作高度依赖视觉——从交叉参考建筑蓝图和追踪工程图纸,到将研究结果综合成精美的演示文稿、报告和电子表格。我们开发MKA来衡量代理处理这种视觉复杂工作的能力。

为使基准测试植根于现实工作流程,我们与10个垂直领域和83个职业的领域专家合作,这些领域和职业的日常工作本质上是视觉化的。这些专家——从建筑师、生物学家到承保人和数据科学家——共同创建了MKA的200项任务评估集,以协助他们的工作。

MKA的10个垂直领域。

每个任务都反映了需要经验丰富的专业人士耗时3到8小时完成的多步骤项目,包含一个现实的提示、一组多模态输入文件,以及由专家撰写的评分标准,包含约70项是/否检查项,其中75%侧重事实准确性,25%侧重视觉设计。

三个MKA任务示例,从提示和输入文件到黄金输出和评分标准。

从今天起,您可以在Artificial Analysis上探索该基准测试并评估自己的模型。每个模型都在相同的开源代理框架Stirrup中运行,使用相同的工具、沙箱和轮次预算。

基于非谷歌模型构建的智能自动评分器会对每个交付成果进行评分。它会打开每个文件,渲染页面,检查电子表格公式,并根据专家评分标准进行核对。当领域专家亲自对模型输出进行评分时,他们有96%的时间与自动评分器结果一致。为确保评估结果的有效性,Artificial Analysis运行包含200个任务的评估集并保持其私密性,防止任务数据泄露到训练数据中或被模型通过搜索发现。我们还在Hugging Face上发布了包含10个公开任务的独立数据集,任何人都可以查看格式并测试自己的代理系统。我们的技术报告详细介绍了方法论和实验结果。报告显示前沿模型的工作方式存在显著差异。在相同任务中,我们测试的模型在效率上差异极大,平均每个任务需要30到130次交互才能完成。我们展示了强大的感知能力对于解决每个任务的必要性,同时也展示了当视觉能力被移除时模型尝试补偿却失败的表现。

通过Gemini 4 Carbon扩展视觉边界

在我们测试的模型中,Gemini 4 Carbon在质量方面排名第二,且平均完成任务的成本比最高分模型低6倍。

Gemini 4 Carbon在MKA评估的质量和价格维度上处于帕累托前沿。

入门指南

Gemini 4 Carbon今天已通过Gemini API在Google AI Studio上线。查阅更新的Gemini 4开发者指南和文档即可开始使用。

订阅谷歌最新资讯

订阅我们的电子报获取产品更新、活动信息、特别优惠等资讯。

订阅完成,只需再完成一步。

请查看您的邮箱确认订阅。

您也可以使用其他电子邮件地址进行订阅。

您的信息将按照谷歌隐私政策使用,您可随时选择退订。

发布于: