FMHA 101:Transformer の Attention から CUDA Flash Attention カーネルまで lyan 2026-05-05 Transformer の Attention、手計算の例、オンライン Softmax、CUDA タイル型 FMHA カーネルを初学者向けに解説します。 GPU programming CUDA FlashAttention Transformers Transformer Engine 続きを読む