。Triton 2021年发布了1.0，我在调研GPU使用方法的时候知道了有这个东西，但是当时还不了解OpenAI，觉得这个项目太新太小众，并没有深究。Triton的概念模型相较于cuda的模型，把基于Thread的模型扩展为基于block的。我觉得从线性代数的观点来看，就是把基于矩阵元素的粒度，变成了分块矩阵的粒度。对于GPU这样的设备，每个SM是有局部缓存的。传统的写法是用三重循环。