FMHA 101:Transformer の Attention から CUDA Flash Attention カーネルまで 2026-08-26 Transformer の Attention、手計算の例、オンライン Softmax、CUDA タイル型 FMHA カーネルを初学者向けに解説します。 CUDA FlashAttention Transformers GPU Programming Transformer Engine 続きを読む