マルチモーダル AI におけるクロスアテンション：ある情報ストリームが別のストリームを読むとき
Q/K/V の基礎から Stable Diffusion のテキスト条件付き U-Net、クロスモーダルな次元設計までを解説します。
続きを読む
Fused Attention を動かす意思決定エンジン：Transformer Engine が Blackwell 上で cuDNN をどう編成するか
Transformer Engine の fused attention dispatch、cuDNN Graph API、Blackwell 経路、pipelining の背景、deterministic training 制約をソースに基づいて解説します。
続きを読むFMHA 101：Transformer の Attention から CUDA Flash Attention カーネルまで
Transformer の Attention、手計算の例、オンライン Softmax、CUDA タイル型 FMHA カーネルを初学者向けに解説します。
続きを読む