CUDA软件环境与亚马逊云服务使用指南

# CUDA 软件环境与亚马逊云服务使用指南 ## 1. CUDA 相关工具与选项 ### 1.1 --export-dir 选项 `--export-dir` 选项用于指定一个目录，所有设备代码镜像将被复制到该目录。它可作为设备代码仓库，在应用程序运行时，CUDA 驱动会检查此仓库（此时该目录应包含在 `CUDA_DEVCODE_PATH` 环境变量中）。仓库可以是一个目录，也可以是一个 ZIP 文件。无论哪种情况，CUDA 都会维护一个目录结构，以便 CUDA 驱动查找代码。如果指定的文件名不存在，将在该位置创建一个目录结构（而非 ZIP 文件）。 ### 1.2 ptxas - PTX 汇编器 ptxas 是将 PTX 编译为 GPU 特定微代码的工具，在 CUDA 生态系统中具有独特地位。NVIDIA 既在离线工具（开发者将其编译到应用程序中）中提供该工具，也将其作为驱动的一部分，支持所谓的“在线”或“即时”（JIT）编译（在运行时发生）。 #### 1.2.1 离线编译 在离线编译时，如果使用 `--gpu-code` 命令行选项指定了实际的 GPU 架构，nvcc 通常会调用 ptxas。此时，可以通过 `nvcc` 的 `-Xptxas` 命令行选项将命令行选项（总结在表 4.8 中）传递给 ptxas。 #### 1.2.2 nvcc 代码生成选项 | 选项 | 描述 | | --- | --- | | `--fmad [true, false]` | 启用或禁用将浮点乘法和加法/减法收缩为浮点乘加（FMAD）指令。仅当 `--gpu-architecture` 为 `compute_20`、`sm_20` 或更高版本时支持此选项。对于其他架构类，收缩始终启用。`--use-fast-math` 意味着 `--fmad=true`。 | | `--use-fast-math` | 使用快速数学库。除了意味着 `--prec-div false`、`--prec-sqrt false`、`--fmad true` 之外，单精度运行时数学函数将直接编译为 SFU 内联函数。 | #### 1.2.3 ptxas 命令行选项 | 选项 | 描述 | | --- | --- | | `--abi-compile <yes|no>` (-abi) | 启用或禁用使用应用程序二进制接口（ABI）编译函数。默认值为 yes。 | | `--allow-expensive-optimizations <true|false>` (-allow-expensive-optimizations) | 启用或禁用使用最大可用资源（内存和编译时间）的昂贵编译时优化。如果未指定，默认行为是为优化级别 ≥O2 启用此功能。 | | `--compile-only` (-c) | 生成可重定位对象。 | | `--def-load-cache [ca|cg|cs|lu|cv]` (-dlcm) | 全局加载的默认缓存修饰符。默认值：ca。 | | `--device-debug` (-g) | 为设备代码生成调试信息。 | | `--device-function-maxregcount <archmax/archmin/N>` (-func-maxregcount) | 在使用 `--compile-only` 编译时，指定设备函数可以使用的最大寄存器数量。此选项在全程序编译时被忽略，并且不影响入口函数使用的寄存器数量。对于设备函数，此选项会覆盖 `--maxrregcount` 指定的值。如果既未指定 `--device-function-maxregcount` 也未指定 `--maxrregcount`，则不假定有最大值。 | | `--dont-merge-basicblocks` (-no-bb-merge) | 通常，ptxas 在优化过程中会尝试合并连续的基本块。此选项禁止基本块合并，以轻微的性能损失为代价提高生成代码的可调试性。 | | `--entry <entry function>` (-e) | 入口函数名称。 | | `--fmad <true|false>` (-fmad) | 启用或禁用将浮点乘法和加法/减法收缩为浮点乘加操作（FMAD、FFMA 或 DFMA）。默认值：true。 | | `--generate-line-info` (-lineinfo) | 为设备代码生成行号信息。 | | `--gpu-name <gpu name>` (-arch) | 指定要生成代码的 SM 版本。此选项也接受虚拟计算架构，在这种情况下，代码生成将被抑制。这可仅用于解析。允许的值：`compute_10`、`compute_11`、`compute_12`、`compute_13`、`compute_20`、`compute_30`、`compute_35`、`sm_10`、`sm_11`、`sm_12`、`sm_13`、`sm_20`、`sm_21`、`sm_30`、`sm_35`。默认值：`sm_10`。 | | `--input-as-string <ptx-string>` (-ias) | 指定包含要在命令行上编译的 PTX 模块的字符串。 | | `--machine [32|34]` (-m) | 为 32 位或 64 位架构编译。 | | `--maxrregcount <archmax/archmin/N>` (-maxrregcount) | 指定 GPU 函数可以使用的最大寄存器数量。 | | `--opt-level <N>` (-O) | 指定优化级别（0 - 3）。 | | `--options-file <filename>` (-optf) | 包含指定文件中的命令行选项。 | | `--output-file <filename>` (-o) | 指定输出文件的名称。（默认：elf.o） | | `--return-at-end` (-ret-end) | 抑制 ptxas 默认的优化行为，即在程序末尾优化掉返回指令，以提高可调试性。 | | `--sp-bounds-check` (-sp-bounds-check) | 生成栈指针边界检查代码序列。当指定 `--device-debug` (-g) 或 `--generate-line-info` (-lineinfo) 时自动启用。 | | `--suppress-double-demote-warning` (-suppress-double-demote-warning) | 当在为不支持双精度的 SM 版本编译的 PTX 中遇到双精度指令时，抑制警告。 | | `--verbose` (-v) | 启用详细模式。 | | `--version` | 打印版本信息。 | | `--warning-as-error` (-Werror) | 将所有警告视为错误。 | ### 1.3 动态加载 PTX 代码 开发者还可以通过调用 `cuModuleLoadDataEx()` 动态加载 PTX 代码，如下所示： ```c CUresult cuModuleLoadDataEx ( CUmodule *module, const void *image, unsigned int numOptions, CUjit_option *options, void **optionValues ); ``` `cuModuleLoadDataEx()` 接受一个指针 `image`，并将相应的模块加载到当前上下文中。该指针可以通过映射 cubin、PTX 或 fatbin 文件、将 cubin、PTX 或 fatbin 文件作为以 NULL 结尾的文本字符串传递，或者将 cubin 或 fatbin 对象合并到可执行资源中并使用操作系统调用（如 Windows 的 `FindResource()`）来获取。选项通过 `options` 数组传递，任何相应的参数通过 `optionValues` 传递。总选项数由 `numOptions` 指定。任何输出将通过 `optionValues` 返回。支持的选项如下表所示： | 选项 | 描述 | | --- | --- | | `CU_JIT_MAX_REGISTERS` | 指定每个线程的最大寄存器数量。 | | `CU_JIT_THREADS_PER_BLOCK` | 输入是要针对编译的每个块的最小线程数。输出是编译器使用的线程数。此参数使调用者能够限制寄存器数量，以便具有给定线程数的块应能够根据寄存器限制启动。请注意，此选项不考虑寄存器以外的资源（如共享内存）。 | | `CU_JIT_WALL_TIME` | 返回一个包含编译 PTX 代码所花费的挂钟时间（以毫秒为单位）的浮点数。 | | `CU_JIT_INFO_LOG_BUFFER` | 输入是一个指向缓冲区的指针，用于打印 PTX 汇编的任何信息日志消息（缓冲区大小通过选项 `CU_JIT_INFO_LOG_BUFFER_SIZE_BYTES` 指定）。 | | `CU_JIT_INFO_LOG_BUFFER_SIZE_BYTES` | 输入缓冲区的大小（以字节为单位）；返回填充消息的字节数。 | | `CU_JIT_ERROR_LOG_BUFFER` | 输入是一个指向缓冲区的指针，用于打印 PTX 汇编的任何错误日志消息（缓冲区大小通过选项 `CU_JIT_ERROR_LOG_BUFFER_SIZE_BYTES` 指定）。 | | `CU_JIT_ERROR_LOG_BUFFER_BYTES` | 输入是缓冲区的大小（以字节为单位）；输出是填充消息的字节数。 | | `CU_JIT_OPTIMIZATION_LEVEL` | 应用于生成代码的优化级别（0 - 4），默认值为 4。 | | `CU_JIT_TARGET_FROM_CUCONTEXT` | 从当前 CUDA 上下文推断编译目标。如果未指定 `CU_JIT_TARGET`，这是默认行为。 | | `CU_JIT_TARGET` | `CUjit_target_enum`：指定编译目标。可以是：`CU_TARGET_COMPUTE_10`、`CU_TARGET_COMPUTE_11`、`CU_TARGET_COMPUTE_12`、`CU_TARGET_COMPUTE_13`、`CU_TARGET_COMPUTE_20`、`CU_TARGET_COMPUTE_21`、`CU_TARGET_COMPUTE_30`、`CU_TARGET_COMPUTE_35`。 | | `CU_JIT_TARGET_FALLBACK_STRATEGY` | `CUjit_fallback_enum`：指定在未找到匹配的 cubin 时的回退策略；可能的值为 `CU_PREFER_PTX` 或 `CU_PREFER_BINARY`。 | ### 1.4 cuobjdump cuobjdump 是用于检查 CUDA 生成的二进制文件的实用工具。特别是，它对于检查 nvcc 生成的微代码很有用。指定 `--cubin` 参数给 nvcc 以生成 `.cubin` 文件，然后使用 `cuobjdump --dump-sass <filename.cubin>` 从 `.cubin` 文件中转储反汇编的微