Announcing llm-d 1.0: Open distributed inference for agents on Google Cloud TPUs and GPUs
Google Cloud 发布 llm-d 1.0,通过缓存感知路由和分层 KV 缓存优化多步骤代理推理,支持 TPU/GPU 混合部署。
入选理由:llm-d 1.0 支持 1000 个代理实例并发处理,通过分层 KV 缓存降低 40% 内存占用
公司
也叫:Cloud Native Computing Foundation
Open-source software foundation that hosts Falco and other cloud-native projects.
最近变化
2026-10-20 · llm-d 1.0 支持 1000 个代理实例并发处理,通过分层 KV 缓存降低 40% 内存占用
CNCF 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
已收录 2 篇与「CNCF」相关的 AI 资讯和分析。
Google Cloud 发布 llm-d 1.0,通过缓存感知路由和分层 KV 缓存优化多步骤代理推理,支持 TPU/GPU 混合部署。
入选理由:llm-d 1.0 支持 1000 个代理实例并发处理,通过分层 KV 缓存降低 40% 内存占用
eBPF通过在内核层直接附加探针,为安全可观测性提供了用户空间代理无法匹敌的可见性和防护能力,即使攻击者获得容器root权限也无法禁用内核探针,同时可降低60-80%的安全相关CPU开销。
入选理由:eBPF探针直接附加在Linux内核系统调用接口上,禁用探针需要逃逸到主机内核,这比运行`kill -9`困难得多
与「CNCF」经常一起出现的 AI 术语。
💡 想追踪「CNCF」的长期趋势?去 实体雷达 · CNCF 查看详细分析和跨材料问答。