Building an Internal Developer Platform with Artificial Intelligence

使用人工智能构建内部开发平台 - InfoQ

InfoQ 首页 News 使用人工智能构建内部开发平台

文化与方法

QCon 旧金山（11月16-20日）：深度技术会议。改变你思维方式的同行对话。

使用人工智能构建内部开发平台

2026年9月17日 5分钟阅读

作者：

• Ben Linders

#### 关注我们

Youtube

232K 粉丝

Linkedin

26K 粉丝

Instagram

新

RSS

19K 读者

X

57.1k 粉丝

Facebook

21K 赞

Bluesky

收听本文 -

0:00

音频准备播放

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

• 阅读列表

代理正在成为新的开发平台，通过使用来自Git、Slack和Jira等工具的数据进行语义搜索来提供上下文。在KubeCon & CloudNativeCon Europe会议上发表的《AI遇见内部开发平台》演讲中，Whitney Lee和Viktor Farcic讨论了如何设置护栏来阻止或允许某些操作，并使用日志、指标和追踪来理解代理行为。

Farcic认为，代理是平台的下一次革命。您希望为开发人员提供工具来完成任务；以前是Backstage，现在是代理。

Farcic解释说，代理从开发人员那里获取输入，将其与系统上下文结合，然后发送到模型。模型可以响应并提供答案，或者根据其功能描述执行工具：

Farcic表示，语义搜索使代理能够在特定时刻找到所需的信息：

信息来源可以是任何东西：包含实际清单和代码的Git存储库、拉取请求讨论、Slack线程中某人解释为何不使用该数据库、Jira工单、维基页面、设计会议的Zoom转录文本。这就是“我们喜欢做事的方式”所在的地方。

公司正在构建自己的代理来确保安全。Farcic提到，我们希望设置某种护栏来阻止或允许某些操作，这些操作可以由人员自动执行，或需要特定批准。

Farcic表示，使用LLM时，输入可以是用户提供给代理的任何内容，输出是LLM认为应该执行的操作。他补充说，我们无法预知输入或输出是什么，也无法限制会发生什么。

Lee表示，代理追踪提供了开发人员如何与平台交互的可见性。它们显示代理使用的模型、选择的工具、这些调用消耗的令牌成本以及完成任务的路径。

Farcic建议在代理层面捕获发生的情况，使用日志、指标和追踪：

追踪使您能够看到请求从用户到代理再到工具的全过程。它们可能是唯一理解事件发生后情况的方式。

Farcic解释说，OpenTelemetry为GenAI提供了语义约定；模型调用的跨度包含模型名称、令牌计数、工具调用及其参数：

使用OpenTelemetry，您可以将数据发送到任何地方：使用Jaeger或Grafana Tempo进行追踪，使用Prometheus进行指标，使用Loki进行日志。商业平台——Datadog、Honeycomb、Dynatrace、Elastic——也都会摄入OpenTelemetry。

真实的追踪是您的测试数据。开发人员实际提出的问题，以及代理实际采取的路径，比会议中发明的任何内容都更能形成更好的评估集，Farcic总结道。

InfoQ 在他们演讲后采访了 Whitney Lee 和 Viktor Farcic。

InfoQ：我们如何才能在语义搜索中获得良好的效果？

Viktor Farcic：语义搜索的质量不由嵌入模型或向量数据库定义。这些是通用组件。它取决于你放入的内容以及如何切分。第一个错误是假设文档是唯一来源。文档只是*一个*来源，而且通常是效果最差的来源，因为文档容易过时。第二个是切分方式。如果你将一份40页的文档嵌入为一个向量，你会得到一个模糊地涉及所有内容但精确地涉及什么都不是的单一数据块。将其拆分为独立的片段——一个章节、一个函数、一个资源定义——并保留元数据：所属仓库、所属团队和时间。第三是数据的新鲜度。索引不是只需运行一次的迁移。如果信息已经过时6个月，代理会自信地给出6个月前的答案，这比没有答案更糟糕，因为你会信任它。摄入过程必须是持续的，删除操作也必须同步传播。最后，要清楚哪些内容*不应该*出现在索引中。语义搜索用于知识检索。集群的当前状态不是知识，而是状态，且每秒都在变化。不要将其嵌入——给代理一个实时获取数据的工具。并进行监控：查看追踪记录，观察哪些片段实际被用于回答特定问题。当答案错误时，通常是检索环节出了问题，而不是大语言模型。

Whitney Lee：向量搜索可以帮助从不同工具中检索信息。作为用户，你（或更可能是你的编码代理）不需要知道信息来自哪里，因为信息是通过语义相似性进行索引的，你也不需要猜测精确的关键词就能找到所需内容。

InfoQ：我们如何在AI应用中使用追踪信息？

Lee：单条追踪可以告诉你代理做了什么，这对调试有帮助。分析成千上万条追踪可以告诉你开发者如何使用你的平台。当代理追踪达到规模时，代理可观测性就变成了平台发现。你的追踪记录在告诉平台团队开发者通过平台试图完成什么。这会形成一个反馈循环：开发者与代理互动，追踪显示代理和平台如何响应，两者共同向平台团队展示开发者体验需要改进的领域。

Farcic：在普通应用中，当出现问题时，你可以用相同输入重新运行并观察它再次失败。但在代理系统中，你无法做到这一点。问同样的问题两次，可能会得到两条不同的执行路径。因此追踪记录不是调试的便利工具，而是唯一能证明事情确实以特定方式发生过的证据。我关注三个要素：代理做出了什么决策——使用了哪些工具、顺序如何、参数是什么？一个从未被调用或总是被错误调用的工具，是工具描述的问题，而不是模型的问题。第二，时间和资源消耗情况；一个范围定义错误的语义搜索可能会将五万个token带入上下文，你只能在追踪中看到这一点。第三，审计追踪。如果代理在生产环境修改了某些内容，最终总会有人问是谁批准的，而“AI做的”不是一个可接受的答案。

main wrapper for authors section

关于作者

section title

main wrapper for each author

#### Ben Linders

显示更多

显示更少

#### 本内容属于“文化与方法”主题

##### 相关主题：

• 文化与方法

• 开发者体验

• 代理

• 平台工程

• 人工智能

• 指标

• 分布式追踪

• 日志记录

• 相关编辑内容

• 相关赞助商

• 相关赞助商 2026年10月8日，上午12点 EDT 当AI加速开发，您的CI流水线能跟上吗？由Datadog软件交付产品营销经理Eric Metaj和Datadog CI/CD优化产品负责人Rohin Chandra呈现

InfoQ电子报

每周二发送的InfoQ上周内容精选。加入超过25万名资深开发者的社区。查看示例

我们保护您的隐私。