什么是 Scaling Pain？

智谱技术博客揭示了在大规模Coding Agent推理过程中遇到的"Scaling Pain"，包括乱码、复读和生僻字等异常现象，通过深入排查发现这些问题源于高负载下的推理状态管理不当。文章分享了投机采样作为异常检测指标的策略，以及修复KV Cache竞态和HiCache加载时序问题的具体方案，并提出了Prefill阶段的LayerSplit优化来缓解内存与带宽压力，最终显著提升了系统性能。