Fused Attention を動かす意思決定エンジン：Transformer Engine が Blackwell 上で cuDNN をどう編成するか
Transformer Engine の fused attention dispatch、cuDNN Graph API、Blackwell 経路、pipelining の背景、deterministic training 制約をソースに基づいて解説します。
続きを読む
FMHA 101：Transformer の Attention から CUDA Flash Attention カーネルまで
Transformer の Attention、手計算の例、オンライン Softmax、CUDA タイル型 FMHA カーネルを初学者向けに解説します。
続きを読むNVIDIA GPU Operator：包括的なディープダイブ
NVIDIA GPU Operatorの技術アーキテクチャ、コアコンポーネント、ライフサイクル、高度な機能について詳しく解説します。Driver Managerが264行から876+行に進化した過程、JITコンパイルモデル、本番環境デプロイのベストプラクティスを学びます。
続きを読む