可信第三方评估的通用指南
OpenAI提出第三方可信评估的通用框架,强调评估必须明确声明测试主张、验证证据,并区分三类主张(能力激发/防护性能/对比),尤其指出“harness”(执行环境)对长流程任务评估结果有决定性影响。
入选理由:评估报告必须明确说明所测试的主张类型:能力激发、防护性能或系统对比,三者需匹配不同harness设计。
概念
别名:harness era
代理开发的架构选择术语
已跟踪 22 条高相关材料
最近变化
2026-07-21 · Mastra是专注于TypeScript的代理框架公司
为什么值得关注
Harness 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
A shared playbook for trustworthy third party evaluations
OpenAI Blog · 9.2 分
OpenAI提出第三方可信评估的通用框架,强调评估必须明确声明测试主张、验证证据,并区分三类主张(能力激发/防护性能/对比),尤其指出“harness”(执行环境)对长流程任务评估结果有决定性影响。
BestBlogs.dev 周刊第 93 期:AI 次方变革
Gino Notes · 9.2 分
本期周刊以‘AI次方变革’为核心隐喻,系统串联杨斌的组织心智重构、Karpathy的Software 3.0范式、Demis的AGI三缺口,揭示AI已从‘+AI’工具叠加迈入底数质变驱动的指数级重构阶段。
#543. 为何 2026 是 Harness 之年?IBM 专家深度拆解
跨国串门儿计划 · 8.8 分
2026年将是AI Harness之年,通过护栏、验证和自动化处理器等工程手段,无需修改Prompt即可将不可靠的AI Agent转化为稳定可控的系统,这是通往AGI的关键基础设施。
已收录 22 条与 Harness 相关的内容,按评分排序。
OpenAI提出第三方可信评估的通用框架,强调评估必须明确声明测试主张、验证证据,并区分三类主张(能力激发/防护性能/对比),尤其指出“harness”(执行环境)对长流程任务评估结果有决定性影响。
入选理由:评估报告必须明确说明所测试的主张类型:能力激发、防护性能或系统对比,三者需匹配不同harness设计。
本期周刊以‘AI次方变革’为核心隐喻,系统串联杨斌的组织心智重构、Karpathy的Software 3.0范式、Demis的AGI三缺口,揭示AI已从‘+AI’工具叠加迈入底数质变驱动的指数级重构阶段。
入选理由:AI不是可插拔模块,而是要求组织底数(心智/流程/权力结构)先发生质变,否则指数放大只会加速失效
2026年将是AI Harness之年,通过护栏、验证和自动化处理器等工程手段,无需修改Prompt即可将不可靠的AI Agent转化为稳定可控的系统,这是通往AGI的关键基础设施。
入选理由:AI Harness包含工具注册、上下文压缩、护栏、循环与验证五大核心组件,能将不可靠模型锚定在可控代码环境中。
文章提出从人工操作代理开发转向系统化改进的工程架构,通过自动化循环提升效率。
入选理由:系统化改进依赖追踪、失败发现、管理工作者和舰队控制的闭环架构
Anthropic正在重构模型外围的Harness流程,从固定流水线转向动态策略调整,因模型能力提升使原有假设失效。
入选理由:旧Harness像流水线,每个环节固定且顺序严格
医疗AI需具备多轮追问与循证能力,百川智能M4通过结构化重构实现医疗增强。
入选理由:M4在HealthBench Professional评测中得分55.1,显著高于GPT-5.5。
普通人应从具体小事入手,利用AI提升效率,而非过度焦虑其影响。
入选理由:用AI完成最不想做的任务,如数据整理或重复性工作。
强化学习(RL)环境本质上是数据生成器,低质量的训练 Harness(训练框架)会通过产生错误轨迹直接污染梯度,导致模型学习到错误的行为模式而非真实任务逻辑。
入选理由:RL 环境中的任何软件 Bug(如缓存失效、竞态条件)都会被模型误认为是环境规律,从而导致模型学习到错误的策略。
LangChain 推出 Managed Deep Agents,其核心是可定制的代理“harness”架构,通过执行环境、上下文管理、任务委派与人机协同四大能力支持复杂现实任务。
入选理由:Deep Agents 的 harness 包含四大能力:执行环境(文件系统+沙箱/代码解释器)、上下文管理(短/长期记忆+摘要+缓存)、任务委派(子代理协作)、人机协同(human-in-the-loop)
主流大模型公司正从纯模型研发转向构建‘模型+智能体+工作流’的完整产品体系,OpenAI、AI21、DeepSeek等均在组建Agent/Harness团队,表明行业共识已从‘模型即产品’转向‘系统即产品’。
入选理由:OpenAI 正通过 Codex Thursday #6 推出 appshots、/goal 改进、远程锁定计算机使用等新功能,强化其 coding-agent 产品差异化。
本文介绍了一种名为Harness的AI框架,用于自动生成论文图表,通过设计者、执行者、验证者和修订者的协作流程实现自动化。
入选理由:Harness框架通过四个角色(D/E/V/R)实现论文图表的自动化生成与优化。
Harness 是构建 AI Agent 的核心基础设施,由工具、执行环境、系统提示词和文件系统组成。通过优化 Harness 工程(如调整上下文和提示词),开发者可以在不更换底层模型的情况下显著提升 Agent 在特定基准测试(如 Terminal Bench)中的性能。
入选理由:Harness 定义为模型访问的工具、执行环境、系统提示词和文件系统的集合。
DeepSeek 在 AI 定价策略上体现长期主义,通过简单透明的价格吸引开发者积累真实反馈数据。
入选理由:DeepSeek 采用极低的 API 和缓存命中价格,替代复杂的定价方案。
演讲者提出代理框架将从‘harness’向更自主的‘claw’演进,Mastra作为TypeScript代理框架在该趋势中扮演角色。
入选理由:Mastra是专注于TypeScript的代理框架公司
Tejas Kumar 通过 GPT-3.5 Turbo 浏览器代理实战案例,揭示无约束 AI 代理的典型失效:遇登录页面后恐慌并虚假报告成功,演示了 Harness 测试框架在保障代理可靠性中的关键作用。
入选理由:无约束的 GPT-3.5 Turbo 代理会在遇到登录页面时产生幻觉式成功报告
文章介绍了如何利用Skill Factory平台结合Harness CI/CD工具链进行自动化开发和部署,但内容较为基础,缺乏深度和新颖性。
入选理由:文章提供了从零开始搭建技能工厂并集成到Harness CI/CD流程的方法。
文章讨论了模型与Harness层的关系,但信息密度低,缺乏具体技术细节和深度分析。
入选理由:模型是技术发展的核心,但Harness层的实现相对简单。
得物通过自研数仓治理平台 Harness,将 SQL 规范执行率提升至 95%,实现自动化审核、规则库扩展与多团队协作,显著降低数据错误率并提升开发效率。
入选理由:得物自研 Harness 平台,SQL 规范执行率提升至 95%。
DeepSeek Harness 组正在招聘,但文章信息密度低,缺乏技术深度。
入选理由:DeepSeek Harness 组正在招聘研究员和工程师。
文章因环境异常无法正常访问,未提供足够的医疗AI技术深度内容。
入选理由:文章链接可能需要验证码验证后才能阅读具体内容。
这一方法通过使用两个不同框架的AI助手协同工作来提高代码调试效率,但内容简略缺乏细节。
入选理由:从Instagram用户andirockk获取的代码调试技巧。
该推文为DeepSeek Harness组的招聘信息,内容信息密度低,缺乏技术深度和实用价值。
入选理由:DeepSeek Harness组正在招聘研究员和工程师