- GPU编程入门困难：从GPU硬件架构讲起，帮助零基础读者快速理解CUDA编程模型与线程组织方式。
- 程序性能优化无方向：系统讲解全局内存、共享内存、原子函数等优化手段，让读者掌握GPU加速的关键因素。
- 缺乏完整项目经验：通过分子动力学模拟实例，完整演示从零开发大型高效CUDA程序的全过程。
- 错误调试效率低：介绍CUDA运行时错误检测宏函数和CUDA-MEMCHECK工具，帮助读者快速定位内存错误。
- 理论与实操脱节：每个知识点都配有可运行的代码示例，做到即学即练、学以致用。
- 计算物理/计算化学方向研究生：需要将数值模拟程序移植到GPU上加速，书中分子动力学实例可直接借鉴。
- 高性能计算工程师：希望系统学习CUDA编程与GPU性能优化技术，提升大规模计算任务的执行效率。
- 计算机专业高年级本科生：已掌握C/C++基础，想拓展并行计算与GPU编程技能，为科研或求职增加竞争力。
- 深度学习/科学计算开发者：需要理解GPU底层执行模型，以便更好地优化自定义算子或编写CUDA扩展。
- 按顺序阅读前十章：基础部分逻辑严密，每章内容环环相扣，建议不要跳读，确保对线程组织和内存模型有完整理解。
- 动手运行每段代码：书中示例代码较多，建议在本地CUDA环境中逐一编译运行，观察不同参数下的性能差异。
- 重点研读第5至第9章：这几章是GPU性能优化的核心内容，涉及内存访问模式、共享内存和原子操作等关键技能。
- 用分子动力学项目串联知识：后五章是综合实战，建议在学完基础后完整跟做一遍，体会大型CUDA程序的架构设计思路。
- 结合nvprof/ncu工具分析：在练习时使用性能分析工具查看kernel耗时和内存吞吐，加深对优化效果的理解。
- 掌握CUDA编程模型：理解grid、block、thread的层级结构及线程索引的计算方式，能独立编写正确的核函数。
- 具备GPU性能优化能力：学会通过合并访问、共享内存、原子操作等手段显著提升程序运行效率。
- 能够调试CUDA程序：掌握错误检测宏和CUDA-MEMCHECK的使用方法，快速定位并修复运行时错误。
- 积累完整项目经验：通过分子动力学模拟案例，体验从需求分析到性能调优的完整CUDA开发流程。
- 建立并行思维：理解SIMT执行模式和线程束调度机制，能够从并行角度重新审视和设计算法。
📖 书籍简介
| 书名： | CUDA 编程：基础与实践 |
| 出版社： | 清华大学出版社 |
| 出版日期 | 2020 |
| ISBN号： | 9787302564607 |
 |
| 本书是一本理想的学习 CUDA 编程的入门书籍。本书分两部分，第一部分（前十章）循序渐进地介绍 CUDA 编程的基础，第二部分（后五章）通过一个具体的计算物理应用实例——分子动力学模拟——来介绍如何从头开发一个大型的、高效的 CUDA 程序。 |
 |
| 樊哲勇，1983 年生，2010 年在南京大学物理系获理学博士学位，2010-2012 年在厦门大学物理系做博士后，2012-2014年在芬兰 Aalto 大学做博士后，2014-2016 在渤海大学任副教授，2016 年至今在芬兰 Aalto 大学做博士后。拥有 8 年 CUDA 编程经验，用 CUDA 开发了高效的分子动力学模拟程序 GPUMD 和量子输运程序 GPUQT，在计算物理的一流期刊《Computer Physics Communications》发表9篇原创论文。 |
| |
| 本书是一本理想的学习 CUDA 编程的入门书籍，理论与实操结合，难易适中。 |
| |
| 目 录 第1章 GPU硬件与CUDA程序开发工具 1 1.1 GPU 硬件简介 1 1.2 CUDA 程序开发工具 4 1.3 CUDA 开发环境搭建示例 6 1.4 用nvidia-smi检查与设置设备 7 1.5 其他学习资料 8 第2章 CUDA中的线程组织 10 2.1 C++语言中的HelloWorld程序 10 2.2 CUDA中的HelloWorld程序 11 2.2.1 只有主机函数的CUDA程序 11 2.2.2 使用核函数的CUDA程序 12 2.3 CUDA 中的线程组织 14 2.3.1 使用多个线程的核函数 14 2.3.2 使用线程索引 15 2.3.3 推广至多维网格 17 2.3.4 网格与线程块大小的限制 21 2.4 CUDA 中的头文件 21 2.5 用nvcc编译CUDA程序 22 第3章 简单CUDA程序的基本框架 25 3.1 例子：数组相加 25 3.2 CUDA 程序的基本框架 27 3.2.1 隐形的设备初始化 29 3.2.2 设备内存的分配与释放 29 3.2.3 主机与设备之间数据的传递 31 3.2.4 核函数中数据与线程的对应 32 3.2.5 核函数的要求 33 3.2.6 核函数中if语句的必要性 34 3.3 自定义设备函数 35 3.3.1 函数执行空间标识符 35 3.3.2 例子：为数组相加的核函数定义一个设备函数 36 第4章 CUDA程序的错误检测 38 4.1 一个检测CUDA运行时错误的宏函数 38 4.1.1 检查运行时API函数 40 4.1.2 检查核函数 42 4.2 用CUDA-MEMCHECK检查内存错误 44 第5章 获得GPU加速的关键 46 5.1 用CUDA事件计时 46 5.1.1 为C++程序计时 47 5.1.2 为CUDA程序计时 48 5.2 几个影响GPU加速的关键因素 50 5.2.1 数据传输的比例 50 5.2.2 算术强度 51 5.2.3 并行规模 54 5.2.4 总结 55 5.3 CUDA 中的数学函数库 55 第6章 CUDA的内存组织 57 6.1 CUDA 的内存组织简介 57 6.2 CUDA 中不同类型的内存 58 6.2.1 全局内存 58 6.2.2 常量内存 61 6.2.3 纹理内存和表面内存 62 6.2.4 寄存器 62 6.2.5 局部内存 63 6.2.6 共享内存 63 6.2.7 L1和L2缓存 64 6.3 SM 及其占有率 65 6.3.1 SM 的构成 65 6.3.2 SM 的占有率 65 6.4 用CUDA运行时API函数查询设备 67 第7 章 全局内存的合理使用 70 7.1 全局内存的合并与非合并访问 70 7.2 例子：矩阵转置 73 7.2.1 矩阵复制 73 7.2.2 使用全局内存进行矩阵转置 75 第8 章 共享内存的合理使用 78 8.1 例子：数组归约计算 78 8.1.1 仅使用全局内存 79 8.1.2 使用共享内存 82 8.1.3 使用动态共享内存 84 8.2 使用共享内存进行矩阵转置 85 8.3 避免共享内存的bank冲突 86 第9 章 原子函数的合理使用 90 9.1 完全在GPU中进行归约 90 9.2 原子函数 93 9.3 例子：邻居列表的建立 95 9.3.1 C++ 版本的开发 96 9.3.2 利用原子操作的CUDA版本 98 9.3.3 不用原子操作的CUDA版本 101 第10章 线程束基本函数与协作组 104 10.1 单指令-多线程执行模式 104 10.2 线程束内的线程同步函数 106 10.3 更多线程束内的基本函数 109 10.3.1 介绍 109 10.3.2 利用线程束洗牌函数进行归约计算 114 10.4 协作组 116 10.4.1 线程块级别的协作组 116 10.4.2 利用协作组进行归约计算 118 10.5 数组归约程序的进一步优化 119 10.5.1 提高线程利用率 119 10.5.2 避免反复分配与释放设备内存 122 第11章 CUDA流 124 11.1 CUDA 流概述 124 11.2 在默认流中重叠主机和设备计算 125 11.3 用非默认CUDA流重叠多个核函数的执行 128 11.3.1 核函数执行配置中的流参数 128 11.3.2 重叠多个核函数的例子 129 11.4 用非默认CUDA流重叠核函数的执行与数据传递 131 11.4.1 不可分页主机内存与异步的数据传输函数 131 11.4.2 重叠核函数执行与数据传输的例子 133 第12章 使用统一内存编程 136 12.1 统一内存简介 136 12.1.1 统一内存的基本概念 136 12.1.2 使用统一内存对硬件的要求 137 12.1.3 统一内存编程的优势 137 12.2 统一内存的基本使用方法 137 12.2.1 动态统一内存 138 12.2.2 静态统一内存 139 12.3 使用统一内存申请超量的内存 140 12.3.1 第一个测试 140 12.3.2 第二个测试 142 12.3.3 第三个测试 143 12.4 优化使用统一内存的程序 144 第13章 分子动力学模拟的CUDA程序开发 147 13.1 分子动力学模拟的基本算法和C++实现 147 13.1.1 程序的整体结构 147 13.1.2 分子动力学模拟的基本流程 148 13.1.3 初始条件 149 13.1.4 边界条件 150 13.1.5 相互作用 152 13.1.6 运动方程的数值积分 156 13.1.7 程序中使用的单位制 157 13.1.8 程序的编译与运行 158 13.1.9 能量守恒的测试 159 13.1.10 C++ 版本程序运行速度的测试 160 13.2 CUDA 版本的分子动力学模拟程序开发 161 13.2.1 仅加速求力和能量的部分 161 13.2.2 加速全部计算 165 第14章 CUDA标准库的使用 167 14.1 CUDA 标准库简介 167 14.2 Thrust 库 168 14.2.1 简介 168 14.2.2 数据结构 168 14.2.3 算法 168 14.2.4 例子：前缀和 169 14.3 cuBLAS 库 171 14.3.1 简介 171 14.3.2 例子：矩阵乘法 172 14.4 cuSolver 库 176 14.4.1 简介 176 14.4.2 例子：矩阵本征值 177 14.5 cuRAND 库 181 14.5.1 简介 181 14.5.2 例子 182 |
 |
| 前言 基于CPU（central processing unit，中央处理器）和GPU（graphics processing unit，图形处理器）的异构计算（heterogeneous computing）已逐步发展为高性能计算（high performance computing）领域的主流模式。很多超级计算机大量使用了GPU。CUDA（compute unified device architecture）作为GPU高性能计算的主要开发工具之一，已经在计算机、物理、化学、生物、材料等众多领域发挥了重要作用。掌握CUDA编程也就意味着开辟了一条通往高性能计算的新道路。 本书通过大量实例循序渐进地介绍CUDA编程的语法知识、优化策略及程序开发实践。本书所有源代码都可以通过作者为本书创建的GitHub仓库（https:// github.com/brucefan1983/CUDA-Programming）获得。读者也可以针对该仓库提出问题（issues）与作者进行交流。渤海大学由琪同学的GitHub仓库https://github.com/ YouQixiaowu/CUDA-Programming-with-Python还给出了本书部分程序的py-CUDA版本。本书中的所有程序都在Linux平台通过测试，其中大部分程序也能在Windows平台通过测试。我们会在适当的地方指出哪些程序无法在（作者的）Windows平台通过测试。 本书是一本较理想的学习CUDA编程的入门读物。在计算机方面，读者需要掌握初步的Linux或Windows命令行操作技能，并具有一定的C++语言编程基础。第13章的内容要求读者具有大学物理或普通物理的知识基础。第14章的部分内容要求读者熟悉大学本科理工科的线性代数知识。本书前12章需顺序阅读，后两章可选读，而且可以按任意次序阅读。最后要强调的是，本书不假定读者有并行编程的经验。 本书不是一本CUDA编程手册，不追求面面俱到，但力求做到由浅入深、循序渐进。截至作者交稿之日，最新版本（10.2）的《CUDA C++ Programming Guide》和《CUDA C++ Best Practices Guide》加起来有400多页，再加上CUDA工具箱中各种应用程序库和编程开发工具的文档，总页数可能上万。在本书100多页的篇幅中想要做到面面俱到是不可能的。明确地说： ● 本书只涉及CUDA C++编程，不涉及其他异构编程语言，如OpenCL、OpenACC和CUDA Fortran。 ● 关于CUDA C++编程，本书不涉及动态并行（dynamic parallelism）、CUDA Graph、CUDA与OpenGL和Direct3D的交互、纹理和表面内存的使用。 ● 本书不涉及多GPU编程，只讨论单GPU编程，并且不涉及OpenMP和MPI。 ● 在众多性能分析器（profiler）中，我们将仅偶尔使用nvprof，不使用其他可视化性能分析器。 本书彩图请扫描右侧二维码观看。 本书的出版受到国家自然科学基金的支持，项目编号为11974059，名称为《基于石墨烯及其他两维材料的柔性热电材料的多尺度模拟》。本书中相关程序的开发和测试使用了由Aalto Science-IT project和Finland’s IT Center for Science（CSC）提供的计算资源与技术支持。 复旦大学的周麟祥教授于2011年在厦门大学开设的CUDA编程讲座让作者有幸较早地接触CUDA编程。厦门大学的博士后导师郑金成和王惠琼教授及芬兰Aalto大学的博士后导师Ari Harju博士和Tapio Ala-Nissila教授在作者学习与使用CUDA的过程中给予了很大的支持。在此对以上老师表示由衷的感谢！ 特别感谢苏州吉浦讯科技有限公司的技术团队。该团队的工程师们为本书的初稿指出了300多个问题，并为作者解答了很多有关CUDA编程的问题。如果没有该团队的帮助，本书一定有很多错误。厦门大学的徐克同学和渤海大学的由琪同学先后为本书制作了若干插图。中国科学技术大学的黄翔同学、潍坊学院高性能计算中心的李延龙同学及西安理工大学的范亚东同学帮助审阅了全部书稿。在此对以上同学一并表示感谢。 本书从构思到完成大概花了一年半的时间。在这一年半的时间里，此书的写作占用了我很多本应该陪伴家人的时间。所以，我将此书献给我的妻子秦海霞、大女儿樊怀瑾和小女儿樊婉瑜，以及我的父亲樊明营与母亲张珍艳。
|
📑 章节目录
- GPU硬件与CUDA程序开发工具
- CUDA中的线程组织
- 简单CUDA程序的基本框架
- CUDA程序的错误检测
- 获得GPU加速的关键
- CUDA的内存组织
- 全局内存的合理使用
- 共享内存的合理使用
- 原子函数的合理使用
- 线程束基本函数与协作组
- 分子动力学模拟的CUDA实现（上）
- 分子动力学模拟的CUDA实现（下）
