标签：Transformer Engine - lyan · CodeFun

融合注意力背后的决策引擎：Transformer Engine 如何在 Blackwell 上编排 cuDNN

2026-08-26

基于源码梳理 Transformer Engine 融合注意力派发、cuDNN Graph API、Blackwell 路径、流水线背景与确定性训练约束。

Transformer Engine cuDNN Fused Attention Blackwell GPU Computing

FMHA 101：从 Transformer 注意力到 CUDA Flash Attention 内核

2026-08-26

面向初学者的 FMHA 教程：从 Transformer 注意力、手算示例，到在线 Softmax 与 CUDA 分块内核。

CUDA FlashAttention Transformers GPU Programming Transformer Engine