Announcing llm-d 1.0: Open distributed inference for agents on Google Cloud TPUs and GPUs
Google Cloud 发布 llm-d 1.0,通过缓存感知路由和分层 KV 缓存优化多步骤代理推理,支持 TPU/GPU 混合部署。
入选理由:llm-d 1.0 支持 1000 个代理实例并发处理,通过分层 KV 缓存降低 40% 内存占用
概念
别名:Cloud Native Computing Foundation
托管 llm-d 项目的开源基金会
已跟踪 2 条高相关材料
最近变化
2026-10-20 · llm-d 1.0 支持 1000 个代理实例并发处理,通过分层 KV 缓存降低 40% 内存占用
为什么值得关注
CNCF 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Announcing llm-d 1.0: Open distributed inference for agents on Google Cloud TPUs and GPUs
Google Cloud Blog · 8.5 分
Google Cloud 发布 llm-d 1.0,通过缓存感知路由和分层 KV 缓存优化多步骤代理推理,支持 TPU/GPU 混合部署。
Article: Kernel-Level Ground Truth: Why eBPF is Replacing User-Space Agents for Security Observability
InfoQ · 8.5 分
eBPF通过在内核层直接附加探针,为安全可观测性提供了用户空间代理无法匹敌的可见性和防护能力,即使攻击者获得容器root权限也无法禁用内核探针,同时可降低60-80%的安全相关CPU开销。
已收录 2 条与 CNCF 相关的内容,按评分排序。
Google Cloud 发布 llm-d 1.0,通过缓存感知路由和分层 KV 缓存优化多步骤代理推理,支持 TPU/GPU 混合部署。
入选理由:llm-d 1.0 支持 1000 个代理实例并发处理,通过分层 KV 缓存降低 40% 内存占用
eBPF通过在内核层直接附加探针,为安全可观测性提供了用户空间代理无法匹敌的可见性和防护能力,即使攻击者获得容器root权限也无法禁用内核探针,同时可降低60-80%的安全相关CPU开销。
入选理由:eBPF探针直接附加在Linux内核系统调用接口上,禁用探针需要逃逸到主机内核,这比运行`kill -9`困难得多