Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AWS Machine Learning Blog2856 字 (约 12 分钟)
85
AWS与i14合作在Trainium2上训练Laplace 3B线性注意力模型，推理内存固定为29.5MB/序列，训练速度达12万token/s。
入选理由：线性注意力机制将训练复杂度从O(T²)降至O(T)，推理内存固定为29.5MB/序列
精选文章#PyTorch#AWS Trainium2#线性注意力#模型训练#AI推理英文