清华系团队给大模型织了一张“智能算力电网”
量子位2087 字 (约 9 分钟)
92
是石科技构建智能算力电网,整合国产异构芯片,实测单位Token成本降40%、吞吐提30%-50%,达成99.9%高可用,实现从算力资源到标准化Token产能的跃迁。
入选理由:是石科技通过全域异构算力池+深度国产芯片适配(昇腾/昆仑芯等),使闲置国产卡转化为稳定Token产能
精选文章#大模型推理#国产AI芯片#算力调度#是石科技#Token经济中文
概念
一种内存优化技术,用于高效管理LLM推理中的KV Cache,减少显存碎片。
已收录 1 篇与「PagedAttention」相关的 AI 资讯和分析。
是石科技构建智能算力电网,整合国产异构芯片,实测单位Token成本降40%、吞吐提30%-50%,达成99.9%高可用,实现从算力资源到标准化Token产能的跃迁。
入选理由:是石科技通过全域异构算力池+深度国产芯片适配(昇腾/昆仑芯等),使闲置国产卡转化为稳定Token产能
与「PagedAttention」经常一起出现的 AI 术语。
💡 想追踪「PagedAttention」的长期趋势?去 实体雷达 · PagedAttention 查看详细分析和跨材料问答。