标签：Engine - lyan · CodeFun

融合注意力背后的决策引擎：Transformer Engine 如何在 Blackwell 上编排 cuDNN

lyan 2026-06-07

基于源码梳理 Transformer Engine 融合注意力派发、cuDNN Graph API、Blackwell 路径、流水线背景与确定性训练约束。

GPU cuDNN Blackwell Transformer Engine Fused Attention Computing

FMHA 101：从 Transformer 注意力到 CUDA Flash Attention 内核

lyan 2026-05-05

面向初学者的 FMHA 教程：从 Transformer 注意力、手算示例，到在线 Softmax 与 CUDA 分块内核。

GPU programming CUDA FlashAttention Transformers Transformer Engine