If you don't run your own LLM proxy, how do you know whats going on?

如果你不运行自己的LLM代理，你怎么可能知道发生了什么？

我想标题已经完整表达了这个想法，但我会详细说明，毕竟这不是推特。你正在开发一个想法、一段代码，或者一个每年价值数十亿美元的SaaS应用，这个应用可能正在拯救世界。也许你正在自动化克隆流程，获取新的Labubu发布图像，将2D图像通过ComfyUI转换为3D CAD，以便在春节来临前更快启动复制品生产，因为那时全球制造业都会暂停。也许你喜欢用你的代币去搜索有史以来为麦当劳麦辣鸡腿堡等食物开发的最强大的营养信息软件。你很可能正在使用某种前端界面，该界面连接了你选择的服务商的付费订阅服务。TUI、GUI、语音通话，不管是什么形式，都是你的数据输入，他们的数据返回给你。这就是他们卖的东西，我现在很乐意购买这个权利。他们会向你展示类似这样的内容作为工作证明：

天哪，各位

这是一次干扰。这不是给工程师看的时间序列数据的代币使用统计。我无法根据这些垃圾信息做出决策。当然，大型实验室肯定有宝贵见解可以分享给那些深入查看分析面板的用户。

我无法根据这些垃圾信息做出决策。我听到你说"有OTel导出选项!!1!"。好吧，这可能不错。这是其中一个原因，现在我再列出另外五个：

• 支持多服务商、多模型，且通过你控制的单一端点进行管理
• 记录哪个密钥在什么时间通过什么客户端调用了什么模型及其状态
• 使用虚拟API密钥来避免将主密钥过度暴露在你的工作、代理和工具链中
• 这是你可以控制的基础设施
• 你可以快速切换模型和服务商而无需重新配置所有内容（可能再次，第三次了）

我不会为你推荐特定的代理服务商，只建议你在自己控制的环境中运行它。当你选择一个时，不要忘记你可以根据实际需求对其进行修改。我修改了自己的代理以获得更好的洞察力，自定义MCP服务器端点，添加了额外功能。无论你选择什么，你应该能获得类似这样的数据视图。

当我在编码时看到缓存未命中，我能在20秒内手动定位原因。虽然我还没有自动化这个过程，但使用的代理有API，所以自动化是可能的。掌控你的基础设施、应用可见性、数据路径和存储。我在家里这么做是因为有趣，也是我喜欢学习的方式。我在工作中这么做是因为如果不这样做，我就没做好本职工作。我可能永远无法完全理解大型语言模型的工作原理到足以在面试中白板推导的程度。但我可以驯服它，确保在提供推理服务时进行充分监控。