GPU Glossary

A glossary of terms related to GPUs.

; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; * ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; . ; ; ; ; ; ; ; * ; ; ; ; ; ; ; ; : ; ; : ; ; ; ; ; + ; ; ; ; ; ; : ; ; ; : ; ; : ; ; ; ; ; ; ; ; ; : ; ; : ; ; ; ; ; ; ; ; ; : ; ; ; ; ; ; ; ; ; . : ; ; + ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; : ; ; ; ; ; . ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; * ; ; ; ; ; ; ; ; ; ; ; ; ; ; * ; ; ; ; ; ; ; ; ; ; ; ; : ; ; ; ; + ; ; ; + ; ; : ; ; ; ; ; * ; ; ; ; ; ; ; ; ; + ; ; ; ; + ; ; ; ; ; ; ; ; : ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; + ; ; + ; ; ; ; ; ; ; ; ; ; ; ; ; ; ; * ; ; ; ;…

saved by

• Jack Li
• Katherine He
• surya
• Miguel Villa Floran
• Arush Agrawal

related reading

• README | GPU Glossarymodal.com
• The Best GPUs for Deep Learning in 2023 — An In-depth Analysistimdettmers.com
• CUDA Programming Guide — CUDA Programming Guidedocs.nvidia.com
• GPU Driver Developer’s Guide — The Linux Kernel documentationdocs.kernel.org
• General-purpose computing on graphics processing units - Wikipediaen.wikipedia.org
• GitHub - adam-maj/tiny-gpu: A minimal GPU design in Verilog to learn how GPUs work from the ground up · GitHubgithub.com
• GPU Performance Background User's Guide - NVIDIA Docsdocs.nvidia.com
• The Best GPUs for Deep Learning in 2023 — An In-depth Analysistimdettmers.com
• CUDA C++ Programming Guide (Legacy) — CUDA C++ Programming Guidedocs.nvidia.com
• How to Think About GPUs | How To Scale Your Modeljax-ml.github.io
• Inside NVIDIA GPUs: Anatomy of high performance matmul kernels - Aleksa Gordićaleksagordic.com
• Nvidia H100 GPUs: Supply and Demand · GPU Utils ⚡️gpus.llm-utils.org