GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model
Engineering at Meta5052 字 (约 21 分钟)
85
Meta通过自定义内核库和混合精度训练，将GEM广告推荐模型训练效率提升至20-25% MFU，同时实现4倍FLOPs扩展。
入选理由：Jagged Flash Attention（JFA）等自定义内核库使GPU利用率提升100%
精选文章#推荐系统#LLM训练#GPU优化#Meta#广告技术英文