性能分析工具

📅 2周学习计划

1. NVIDIA工具概览

2. Nsight Compute使用

命令行分析

# 基本分析
ncu ./my_cuda_app

# 详细分析所有指标
ncu --set full ./my_cuda_app

# 只分析特定Kernel
ncu --kernel-name "matmul" --launch-skip 0 --launch-count 1 ./my_cuda_app

# 输出到文件
ncu -o report ./my_cuda_app

# 比较不同配置
ncu --diff baseline.ncu-rep optimized.ncu-rep

关键指标

• Compute (SM) Throughput: 计算吞吐量，越高越好
• Memory Throughput: 内存吞吐量
• Occupancy: 占用率
• DRAM Bytes: 显存读写量
• SASS Instructions: 汇编指令数

3. Nsight Systems使用

# 采集时间线
nsys profile ./my_cuda_app

# 指定输出文件名
nsys profile -o timeline ./my_cuda_app

# 追踪特定API
nsys profile --trace=cuda,nvtx ./my_cuda_app

# 生成统计报告
nsys stats timeline.nsys-rep

分析内容

• Kernel Timeline: Kernel执行时间、并发情况
• Memory Timeline: H2D/D2H传输时间
• CUDA API: API调用耗时
• Concurrency: 计算与传输重叠情况

4. 性能分析工作流

• Step 1: 用Nsight Systems看整体时间线，找到瓶颈
• Step 2: 用Nsight Compute分析瓶颈Kernel
• Step 3: 根据分析结果优化
• Step 4: 验证优化效果

# 使用NVTX标记代码区域
#include "nvtx3/nvToolsExt.h"

void process() {
    nvtxRangePushA("Data Prep");
    // 数据准备...
    nvtxRangePop();
    
    nvtxRangePushA("Kernel Exec");
    my_kernel<<<...>>>();
    nvtxRangePop();
}