Last year we built megakernels. This year we deleted them: The road to Together Compiler
Together AI Blog6618 字 (约 27 分钟)
85
Together AI 通过删除 megakernels 并采用新方法,实现了接近甚至超越原有性能的推理优化框架 Together Compiler。
入选理由:使用 CUDA Graphs 和 PDL 可恢复 98% 的 megakernel 性能,无需编写任何内核。
精选文章#AI#编译器#Torch#CUDA#推理优化英文