タグ：Transformer Engine - lyan · CodeFun

Fused Attention を動かす意思決定エンジン：Transformer Engine が Blackwell 上で cuDNN をどう編成するか

2026-08-26

Transformer Engine の fused attention dispatch、cuDNN Graph API、Blackwell 経路、pipelining の背景、deterministic training 制約をソースに基づいて解説します。

Transformer Engine cuDNN Fused Attention Blackwell GPU Computing

続きを読む

FMHA 101：Transformer の Attention から CUDA Flash Attention カーネルまで

2026-08-26

Transformer の Attention、手計算の例、オンライン Softmax、CUDA タイル型 FMHA カーネルを初学者向けに解説します。

CUDA FlashAttention Transformers GPU Programming Transformer Engine

続きを読む