Presentation: Scaling LLM-Based Ranking Systems for Latency-Critical Search & Recommendation Workloads
InfoQ7980 字 (约 32 分钟)
85
LinkedIn通过模型压缩和系统优化,在严格延迟SLA下实现LLM排序系统扩展,关键方法包括参数压缩、单令牌嵌入和系统瓶颈消除。
入选理由:将7B模型压缩至400M参数,减少95%参数量
FeaturedArticle#LLM#推荐系统#延迟优化#模型压缩中英混合
