From human-operated agent development to systematic agent improvement
文章提出从人工操作代理开发转向系统化改进的工程架构,通过自动化循环提升效率。
入选理由:系统化改进依赖追踪、失败发现、管理工作者和舰队控制的闭环架构
公司
别名:Arize
提供AI观测解决方案的公司,举办Observe 2026大会
已跟踪 5 条高相关材料
最近变化
2026-07-22 · 使用Cohen’s kappa等指标报告人类间一致性,避免高估实际水平
为什么值得关注
Arize AI 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
How to measure human-LLM judge alignment
Arize AI Blog · 8.5 分
本文提出系统性方法衡量LLM评估者与人类判断一致性,通过三个核心问题和六步流程提升评估可靠性。
How OpenAI uses human feedback to evaluate and improve LLMs
Arize AI Blog · 8.5 分
OpenAI通过整合用户显式/隐式反馈构建了统一数据层,结合LLM管道和聚类分析实现自动化问题追踪,使截图可直接生成修复代码。
Inside Cursor’s agent factory: how it verifies AI-written code
Arize AI Blog · 8.5 分
Cursor通过集成验证架构实现AI代码可信度管控,结合行为工件、风险评分和自动化审查,使40%的PR无需人工审核。
已收录 5 条与 Arize AI 相关的内容,按评分排序。
文章提出从人工操作代理开发转向系统化改进的工程架构,通过自动化循环提升效率。
入选理由:系统化改进依赖追踪、失败发现、管理工作者和舰队控制的闭环架构
Kiro CLI与Arize Skills结合,通过可观测性追踪和评估代码代理变更,解决生成代码验证难题。
入选理由:Kiro CLI支持自然语言驱动的代码修改与执行,集成Arize Skills后可自动追踪行为并生成评估数据集。
Cursor通过集成验证架构实现AI代码可信度管控,结合行为工件、风险评分和自动化审查,使40%的PR无需人工审核。
入选理由:Cursor的验证架构整合CI/安全审查/风险评分,实现40%PR自动合并
OpenAI通过整合用户显式/隐式反馈构建了统一数据层,结合LLM管道和聚类分析实现自动化问题追踪,使截图可直接生成修复代码。
入选理由:OpenAI的反馈系统使截图能自动定位代码问题并生成pull request
本文提出系统性方法衡量LLM评估者与人类判断一致性,通过三个核心问题和六步流程提升评估可靠性。
入选理由:使用Cohen’s kappa等指标报告人类间一致性,避免高估实际水平