FMHA 101：Transformer の Attention から CUDA Flash Attention カーネルまで
Transformer の Attention、手計算の例、オンライン Softmax、CUDA タイル型 FMHA カーネルを初学者向けに解説します。
続きを読む
NVIDIA GPU Operator：包括的なディープダイブ
lyan
2026-01-24
NVIDIA GPU Operatorの技術アーキテクチャ、コアコンポーネント、ライフサイクル、高度な機能について詳しく解説します。Driver Managerが264行から876+行に進化した過程、JITコンパイルモデル、本番環境デプロイのベストプラクティスを学びます。
続きを読むSearch
人気記事
- Miles、Slime、Ray：LLMポストトレーニング・ループを支える分散実行基盤
- Hands on DSH
- エージェントループの仕組みを分解する
- uvの仕組み：Python環境、依存関係の解決、キャッシュ
- マルチモーダル AI におけるクロスアテンション：ある情報ストリームが別のストリームを読むとき
- InfiniBand の LFT とトポロジー出力：攻撃対象領域を広げずにファブリックを診断する
- Fused Attention を動かす意思決定エンジン：Transformer Engine が Blackwell 上で cuDNN をどう編成するか
- Megatron-Bridge 実践ガイド：Nemotron、Megatron-Core、Transformer Engine をつなぐプロダクション 101
- FMHA 101：Transformer の Attention から CUDA Flash Attention カーネルまで
最新記事
- Miles、Slime、Ray：LLMポストトレーニング・ループを支える分散実行基盤
- Hands on DSH
- エージェントループの仕組みを分解する
- uvの仕組み：Python環境、依存関係の解決、キャッシュ
- マルチモーダル AI におけるクロスアテンション：ある情報ストリームが別のストリームを読むとき
- InfiniBand の LFT とトポロジー出力：攻撃対象領域を広げずにファブリックを診断する
- Fused Attention を動かす意思決定エンジン：Transformer Engine が Blackwell 上で cuDNN をどう編成するか
- Megatron-Bridge 実践ガイド：Nemotron、Megatron-Core、Transformer Engine をつなぐプロダクション 101
- FMHA 101：Transformer の Attention から CUDA Flash Attention カーネルまで
タグクラウド
Linux (61)
XEN (29)
Life (27)
Memory (24)
Virtualization (23)
Diary (21)
C/C++ (19)
QEMU (17)
test (15)
AI (14)
CPU (14)
NVIDIA (13)
InfiniBand (11)
Interest (11)
Algorithm (11)
VisualStudio (11)
HPC (10)
GPU (10)
KVM (10)
LLM (9)
Transformer (9)
eBPF (8)
Agent (8)
MFC (8)
OpenClaw (7)
Debian (7)
Engine (6)
Megatron (6)
MLOps (6)
Security (6)
TorchDynamo (6)
PyTorch (6)