lmarena.ai(@lmarena_ai)
每周数百万票。一个标签系统。
8.5Score
TL;DR · AI 摘要
Arena.ai 使用统一标签系统处理每周数百万次投票，通过 Databricks 和 Spark 构建高效数据管道。
核心要点
- Arena.ai 每周处理数百万次用户投票，依赖统一标签系统进行分类。
- 数据管道包括 Databricks、Spark 和可插拔标签框架，调用 LLM 进行多模态分类。
- 系统支持动态并发控制、历史回填和成本优化策略，提升效率与可靠性。
结构提纲
按章节快速跳转。
介绍 Arena 如何通过统一标签系统处理大量用户投票。
描述从 Databricks 到 Spark 的数据处理流程及标签框架的作用。
说明系统如何应对 LLM API 不稳定性和新增标签器的灵活性。
思维导图
用一张图看清主题之间的关系。
查看大纲文本（无障碍 / 无 JS 友好）
- Arena 数据管道与标签系统
- 数据收集与处理
- Databricks → Spark → 标签框架
- 标签系统特性
- 动态并发控制
- 可插拔标签器
金句 / Highlights
值得收藏与分享的关键句。
Arena 每周处理数百万次投票，使用统一标签系统进行多模态分类。
系统通过动态并发控制解决 LLM API 不稳定性问题，提高处理效率。
支持在不重建系统的情况下添加新标签器，增强系统的可扩展性。
#Arena#LLM#数据管道
打开原文Arena.ai 在 X 上的推文：每周数百万票。一个标签系统。
Arena 研究员 Guanglei Song 和 I-Hung Hsu 走访了 Arena 的类别排行榜背后的数据管道：Databricks → Spark → 一个可插拔的标签器框架，调用 LLM 对我们的文本、图片、前端编码和其他竞技场中的每项评估进行分类，https://t.co/d8EsZcXhiI
每周数百万票。一个标签系统。Arena 研究员 Guanglei Song 和 I-Hung Hsu 走访了 Arena 的类别排行榜背后的数据管道：Databricks → Spark → 一个可插拔的标签器框架，调用 LLM 对我们的文本、图片、前端编码和其他竞技场中的每项评估进行分类。这一元数据层使 Arena 的数据在超越仅仅 leaderboard 排名之外也对研究有用。0:00 Arena 如何收集评估数据 1:50 管道架构：Databricks 和每小时一次的 Spark 任务 2:35 可插拔的标签器框架 4:35 使用动态并发控制处理不可靠的 LLM API 6:30 不重建系统即可添加新的标签器 7:30 在实时流的同时回填历史数据 9:10 成本控制：过滤、幂等性和模型选择 11:10 分块长消息
