T
traeai
Sign in

概念

什么是 Continuous Batching

也叫:连续批处理

连续批处理技术,动态合并请求以提升GPU利用率,是石科技推理优化核心组件。

为什么现在值得关注?

最近变化

2026-05-29 · 是石科技通过全域异构算力池+深度国产芯片适配(昇腾/昆仑芯等),使闲置国产卡转化为稳定Token产能

Continuous Batching 被反复提及时,通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。

📰 Continuous Batching 最新动态

已收录 2 篇与「Continuous Batching」相关的 AI 资讯和分析。

清华系团队给大模型织了一张“智能算力电网”

Shi Shi Tech builds an intelligent compute grid integrating heterogeneous domestic AI chips, achieving 40% lower token cost, 30–50% higher throughput, and 99.9% availability—enabling a paradigm shift from raw compute resources to standardized, scalable token production capacity.

入选理由:是石科技通过全域异构算力池+深度国产芯片适配(昇腾/昆仑芯等),使闲置国产卡转化为稳定Token产能

FeaturedArticle#LLM Inference#Domestic AI Chips#Compute Orchestration#Shi Shi Tech#Token Economics中文
Unlocking asynchronicity in continuous batching

Unlocking asynchronicity in continuous batching

Hugging Face Blog4048 字 (约 17 分钟)
85

Asynchronous batching can boost GPU utilization to 100%, reducing idle time by 24%.

入选理由:同步批处理导致GPU空闲时间占总运行时间的24%。

FeaturedArticle#LLM#Inference Optimization英文

与「Continuous Batching」经常一起出现的 AI 术语。

💡 想追踪「Continuous Batching」的长期趋势?去 实体雷达 · Continuous Batching 查看详细分析和跨材料问答。

AI may generate inaccurate information. Please verify important content.