Cuda学习笔记(二)——Cuda中对线程块的设置
由于GPU目前在各行各业的广泛应用,无论是深度学习、大数据、云计算等都离不开GPU的并行加速,前阵子自学了Cuda-c编程,希望将来的研究工作能够用得上。 Cuda系列总共有4篇,这里主要用于记录本人学习过程中的一些问题的思考和总结,及网上汇总摘录的别人的一些总结、看法等,并不适合新手入门。如有错误,欢迎各位指正。
·
尽量满足每个sm上面的最大线程数。
每个sm支持的线程块有上限,所以每个线程块的线程数不能太少,并且最好为32或16的倍数。
当一个sm中的Block的所有线程形成阻塞(同步或者等待)时,相应的SM会闲置导致效率下滑。通常让block的数目是sm的2倍以上,方便sm对其进行调度,使其在时间轴上重叠来提高利用率。
对每个线程块进行设置时,如果使用了寄存器,需要明确每个线程最大支持的寄存器个数,防止因为每个线程使用过多寄存器而导致每个时刻SM所能处理的线程数急剧下降。
当一维的线程块不足以满足计算需求或是在处理图像等二维数据时,可以使用二维线程块。
更多推荐
所有评论(0)