程序猿细说GTX680如何100万线程代码!

开普勒在内核函数执行引擎上比费米有了更大的加强。

    从CUDA的发展角度看，NVIDIA一共经历了4代CUDA架构的更新。不过，唯一不变的是warp硬件指令的宽度。（这里和AMD的稍微不同，AMD的硬件指令宽度是64）。

   想要CUDA编程的童鞋可以开始了。安装好驱动，工具箱后，就可以安装C/C++编辑器了。用微软的VS比较方便，本人安装的是VS2010。另外VS本身是不支持CUDA语法，可以在工具箱里面找语法配置文件，在VS里配置一下就可以了。好了， 打开神秘的CUDA代码，其实CUDA代码是C和一些C的扩展而已，懂C的朋友很容易就明白了。CUDA文件以CU后续，CUDA代码的编译成系统执行文件有点小小麻烦。因为需要调用到2个编译器，一个是C/C++，另外一个是GPU编译器。不过NVDIA提供了NVCC工具比较方便，NVCC是一个半编译和连接的工具，它主要是分离CPU和GPU代码，然后把CPU代码给VS2010编译，再者自己编译GPU代码。编译后连接好就可以编程执行代文件了。

    这是NV的性能调试工具，这个工具非常不错，可以可视化分析到硬件的使用率。

    程序的产生都可以清楚分析，这是一个CUDA二维傅立叶变换的例子。不过计算单元的使用率不高，虽然很密集地运行kernel，不过每个kernel的执行时间不长。20多微秒。

用性能工具来测试CUDA体渲染程序。

开普勒有多kernel并行运行的优势。

感叹号是表明程序可能有带改进来加强性能。

载入粒子模拟仿真。

程序性能分析

    本人写了一段小代码，把GPU所有CUDA核心都运行一个内循环加法，当然，真正的并行程序并没有那么简单。这里是主要是用性能工具来分析GPU ALU的使用率。

    代码主要一一对应地生成1536个线程，每个线程做一个内循环。用来模拟GPU真实的负载工作。另外如果需要，可以调整Grid网格的规格，来增加线程，如果要生成一个百万线程只需要在内核函数输入一个1000000/192=540个BLOCK线程块就可以了。GPU的最大优势是线程实现高速切换，切换的速度是CPU的上千到几千倍。其实CUDA优化就几个点。

    第一并行算法，另外是适合CUDA的并行算法。然后就是一个具体的调试，SM满载，存储器的blank保持不冲突， 尽量使用寄存器，shared片上缓存。减少LDS单元的试用次数。还有解开小循环，DRAM的合并访问。避免分支结构。流异步执行，指令级的优化，试用吞吐量大的指令，或者有时直接使用SM上的寄存器来加速。尽量使用硬件指令，硬件指令是不用通过软件编译成其他代码，编译后直接就是对应的硬件指令。

    另外还有就是不分页内存等等。最后技术宅跟我们分享CUDA的一些感觉。CUDA是一个异构的执行体系，就是说CUDA里面你既要写CPU代码，也要内嵌gpu内核代码（GPU）。它是用来发挥两种架构（CPU/GPU）的长处。你认为CPU执行更好的部分，可以在函数用CPU代码实现，你认为某部分交给GPU执行跟好，就可以写成GPU代码。

    打个比方，某个负责引用需要一个并行度极高的运算和一个串行读很高的复杂运算构成，那就可以先通过PCIE传输数据给GPU并行执行，然后返回给CPU做执行。最终输出结果。另外CUDA的一个用法是CUDA图形相互操作。一个支持physX游戏就是，在图形渲染那和CUDA物理加速相互操作。看到这里，是不是发现自己多CUDA有更加深刻的认识，它不再那么神秘。■<