Docker

Harbor + Docker Sandboxes: Run Safe, Reproducible Agent Evals

8.5内容质量

TL;DR · AI 摘要

Harbor结合Docker Sandboxes提供安全、可重复的代理评估环境，支持本地和云部署。

核心要点

  • Docker Sandboxes通过微虚拟机实现强隔离，防止代码逃逸
  • 可配置网络策略确保评估公平性，如任务期间断开互联网
  • 支持本地开发和云扩展，无需手动管理基础设施

结构提纲

按章节快速跳转。

  1. §引言

    介绍代理评估面临的安全和可重复性挑战

  2. ·Harbor框架

    开源评估框架简化基准测试流程

  3. ·Docker Sandboxes

    基于微虚拟机的隔离环境实现安全执行

  4. ›网络策略配置

    支持任务阶段网络权限动态调整

  5. ›部署模式

    提供本地和云沙箱两种运行方案

思维导图

用一张图看清主题之间的关系。

查看大纲文本（无障碍 / 无 JS 友好）
  • Harbor+Docker Sandboxes评估方案
    • 核心机制
      • 微虚拟机隔离
      • 动态网络策略
    • 部署模式
      • 本地沙箱
      • 云沙箱
    • 优势特性
      • 防止reward hacking
      • 自动扩展

金句 / Highlights

值得收藏与分享的关键句。

#Docker#Harbor#微虚拟机#AI评估
打开原文

Harbor + Docker 沙箱：安全、可复现的代理评估 | Docker

Harbor + Docker 沙箱：安全、可复现的代理评估

发布于 2026 年 10 月 14 日

Srini Sekaran, Sohan Patil, 和 John Mu

关键要点 Harbor 现在可以在 Docker 沙箱中运行每个评估任务 Docker 沙箱是用于安全运行 Claude Code、Codex、Cursor 等代理的微虚拟机环境 通过沙箱，可定义自定义网络策略以实现公平、可复现的评估 本地或云端运行评估：从本地 Docker 沙箱免费开始，扩展到云端沙箱

评估代理时，需要给它一个真实任务，让它执行并检查结果。在此过程中，代理会安装软件包、编辑文件并运行命令。这些是不可信的 AI 编写的代码，基准测试会运行数千次。

而且代理并不总是公平行事。有时代理可以通过操纵测试或覆盖记录分数的文件来获得通过评估的分数，而不是实际完成工作。这种行为称为奖励黑客行为，是评估社区日益关注的问题。

因此，运行代理评估需要两件事：

  • 一个评估框架，能够运行每个任务、让代理执行、检查结果并收集分数和日志。
  • 一个用于每个任务的干净且隔离的环境，以确保评估代理的安全性和一致性。

Harbor 提供了第一点。它是一个开源评估框架。给它一个基准测试（如 Terminal-Bench），它就能简化运行评估的过程。

现在，Docker 沙箱提供了第二点：一种在您的笔记本电脑或云端安全运行这些评估任务的方法。

对您意味着什么

默认强隔离。Docker 沙箱从底层设计就注重深度隔离。这意味着您可以将每个任务运行在微虚拟机中，而不是共享容器中。微虚拟机拥有自己的内核，因此代理执行的所有操作都保留在沙箱内。它无法突破限制访问您的机器、其他任务或环境之外的任何内容。

公平、可复现的评估。可配置的网络策略允许任务在设置期间下载所需内容，然后在执行时切断互联网连接。这样，每个代理都可以在相同条件下进行测试。

并行运行，无需管理机器。通过 Docker 云沙箱，团队可以同时运行许多任务，无需手动配置任何内容。可同时运行数十个并发工作节点*。

本地开发，云端扩展。相同的任务可以在本地或 Docker 云沙箱中运行。在笔记本电脑上构建，然后在后台以大规模运行任务，无需更改任何内容。

立即体验

使用 Docker 沙箱安装 Harbor。

uv tool install "harbor[sbx]"

为 Docker 账户激活云访问并创建个人访问令牌。在访问权限下选择云沙箱。复制并保存您的令牌（仅显示一次）。

  • 设置您的 Docker ID（Docker 登录用户名）和 PAT（个人访问令牌），然后在云沙箱中运行任务。
  • export SBX_DOCKER_USERNAME="your-docker-id"
  • export SBX_DOCKER_PAT="your-personal-access-token"
  • harbor run -t hello-world/hello-world -a oracle -e sbx

要在本地运行，请安装 Docker 沙箱 CLI，运行 sbx login，并在上述命令中添加 --ek target=local。

今天的集成支持在 CPU 上运行的单容器任务。GPU 和多容器支持即将推出。

要了解更多内容，请参阅 Docker Sandboxes 文档和 Harbor 文档。

*我们已在 Docker Cloud Sandboxes 上对 Harbor 进行了 64 个并发工作线程的测试。

作者简介

Srini Sekaran Docker AI 部门高级产品市场经理

Srini Sekaran 是 Docker 的 AI 部门高级产品市场经理，专注于 Docker AI 治理、Docker Sandboxes 以及代理基础设施和开发人员工作流程的未来发展方向。

Sohan Patil Docker 高级软件工程师

Docker 高级软件工程师 AI/ML

Docker Sandboxes

产品

目录

相关文章

  • 2026年9月24日 为 AI 代理制造信任 | Docker 的 WeAreDevelopers 主题演讲

Docker 的 WeAreDevelopers 主题演讲展示了 Sandboxes、Kits 和 Cloud Sandboxes 如何为 AI 代理提供强大的隔离和可重复的权限。Deanna Sparks 阅读全文

  • 2026年10月14日 Harbor + Docker Sandboxes：安全、可重复的代理评估

Harbor 现在可以在 Docker Sandboxes 中运行每个评估任务。Docker Sandboxes 是用于安全运行 Claude Code、Codex、Cursor 等代理的 MicroVM 环境。通过 Sandboxes，可以定义自定义网络策略以实现公平、可重复的评估。您可以在本地或云端运行评估：从本地 Docker Sandboxes 免费开始，并进行扩展…… Srini Sekaran、Sohan Patil 和 John Mu 阅读全文

  • 2026年10月12日 Docker Hub 安全公告：账户转换期间个人访问令牌的传输

CVE-2026-105445：Docker Hub 账户转换可能导致个人访问令牌重新分配给新所有者。阅读发生了什么、受影响对象以及修复方法。Mark Lechner 阅读全文

  • 2026年10月1日 信任 Docker 来管理您不信任的代理

在 WeAreDevelopers 上，Docker 推出了 Cloud Sandboxes、开放的 Sandbox Kit 规范，并承诺将 Kits 带到 CNCF 以实现中立治理。Docker 团队 阅读全文