GPU Time-Slicing for Concurrent LLM Agents on Kubernetes
Towards Data Science4627 字 (约 19 分钟)
85
在 Kubernetes 上共享 GPU 会导致尾部延迟显著增加，尤其对低延迟任务影响更大，但调度器不会报告这些问题。
入选理由：共享 GPU 时，Kubernetes 会报告所有 Pod 为 Running，但尾部延迟可能增加 66%。
精选文章#Kubernetes#GPU#LLM#调度器#延迟优化英文