融合注意力背后的决策引擎：Transformer Engine 如何在 Blackwell 上编排 cuDNN
基于源码梳理 Transformer Engine 融合注意力派发、cuDNN Graph API、Blackwell 路径、流水线背景与确定性训练约束。
阅读更多
FMHA 101：从 Transformer 注意力到 CUDA Flash Attention 内核
面向初学者的 FMHA 教程：从 Transformer 注意力、手算示例，到在线 Softmax 与 CUDA 分块内核。
阅读更多NVIDIA GPU Operator：全面深度解析
深入探讨 NVIDIA GPU Operator 的技术架构、核心组件、生命周期和高级特性。了解 Driver Manager 如何从 264 行演进到 876+ 行，掌握 JIT 编译模型，以及生产环境部署的最佳实践。
阅读更多