OpenAI Triton

OpenAI Triton Note (2): Fused Softmax

Softmax 是一個常見的激活函數（activation function），也經常被用作多分類的最後一層。

Triton 是一套開源的 GPU 程式語言編譯器，由 OpenAI 於 2021 年發佈，近年來有越來越多的開發使用 Triton 來編寫與優化在 GPU 上的併行程式。相較傳統 CUDA/OpenCL 等函式庫，Triton 提供了一種 Python-like 語法，顯得更清晰與容易上手。