先看题，其实题目很明白：输入两个递增排序的链表，合并这两个链表并使新链表中的节点仍然是递增排序的。示例1：输入：1->2->4, 1->3->4输出：1->1->2->3->4->4这道题有递归和非递归做法，主要学习的是递归的想法。题目的函数：struct ListNode *mergeTwoLists(struct ListNode *l1,

那么流程就很清楚了，一个进程初始化ID，通过MPI的接口广播给所有进程，进程通过这个ID建立NCCL通信组然后再进行GPU通信，比纯OpenMPI更快。ncclGetUniqueId这个函数生成一个全局通信标识符。这个 ID 只需要在一个进程中生成（通常 rank=0），再通过。ncclCommInitRank需要输入参数id，即所有进程共享的ID。

返回。单位是 GPU 核心的时钟周期（不是秒）。这个计数器从 GPU 启动后一直累加，直到溢出。对比clock()clock()返回 32 位计数器（容易溢出）。clock64()返回 64 位计数器，更适合长期计时或者需要高精度的测量。使用场景：线程内微基准可以统计单个线程执行某段代码的 GPU 时钟周期。注意，clock64()返回的是。不同 SM 上线程的clock64()可能不是同步的，所

如果你有权限，可以用sudo apt等方法安装，下面我们介绍通过源码生成（能用cuda）的方式① 下载源码② 配置编译选项重点是--prefix和：告诉编译系统安装到：启用 CUDA 支持（前提：系统已有：允许 C++ MPI 程序（mpic++③ 编译并安装④ 设置环境变量在~/.bashrc最后加上以下几行（或使用⑤ 检查是否支持 CUDA。

CUDA 中的是一种，它使用了来提升内存访问效率，尤其在图像处理、科学计算中，访问图像数据或二维数据区域时表现优异。纹理内存并不是一种“新的内存”，而是对显存（全局内存）中数据的一种，提供了更高效的数据访问模式（带缓存 + 插值支持），特别适合处理：图像、视频等有的数据访问（相邻线程访问相邻数据）纹理内存的优势：如果线程访问的数据具有（相邻线程访问相邻地址），纹理缓存就能大幅提升带宽利用率。如果你

CUDA 中的指能在并发线程中的函数。它们避免了竞态条件（race condition），保证操作的，即多个线程对同一个变量的读-改-写过程不会相互干扰。__device__（即修改之前的值）。常用原子操作函数分类。

卷积→激活→归一化→使用前需要：创建设置输入输出张量描述子设置卷积/激活/BN 描述子申请临时工作空间。

单 GPU→ 不用 group API 也没问题。多 GPU 同线程→ 建议使用，尤其是 AllReduce、Broadcast 这种涉及所有 GPU 的 collective 操作。多线程每线程一个 GPU→ 每线程只处理自己的 GPU，一般不需要 group API。下一节，会尝试多线程每个线程一个GPU的模式。

一个 warp（32 个线程）在同一指令中访问全局内存时，如果这些访问请求可以合并成尽可能少的内存事务（通常是 32、64 或 128 字节对齐的块），就叫。

函数功能数据流向应用场景root → all1 → n模型参数分发ncclReduceall → rootn → 1梯度聚合all → alln ↔ nDDP 梯度同步all → 部分n → n（切分）部分 → alln ↔ n参数/数据拼接。