人物
文章作者，分享了GPU驻留Top-K检索优化的经验。
已跟踪 2 条高相关材料
最近变化
2026-06-19 · 将检索循环保留在GPU上，可消除PCIe传输税，实现8.6倍的加速。
为什么值得关注
Anubhab Banerjee 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
GPU-Resident Top-K for Agentic RAG: I Built a CUDA Kernel So My Retrieval Step Would Stop Bouncing Off the GPU
Towards Data Science · 8.5 分
通过自定义CUDA内核将检索过程保留在GPU上，可实现多跳RAG的微秒级延迟，比CPU基线快8.6倍。
Prefill Once, Fan Out: KV Snapshot Sharing for Multi-Agent LLM Pipelines
Towards Data Science · 8.5 分
通过共享KV缓存，多代理LLM推理效率提升近两倍，减少冗余计算。
已收录 2 条与 Anubhab Banerjee 相关的内容，按评分排序。
通过自定义CUDA内核将检索过程保留在GPU上，可实现多跳RAG的微秒级延迟，比CPU基线快8.6倍。
入选理由：将检索循环保留在GPU上，可消除PCIe传输税，实现8.6倍的加速。
通过共享KV缓存，多代理LLM推理效率提升近两倍，减少冗余计算。
入选理由：共享KV缓存可使两代理流水线端到端加速48.69%（约1.95倍）。