1. 从零开始：为什么选择昇腾 CANN 进行超分辨率推理？

拿到昇腾开发板的那一刻，相信很多朋友和我一样，既兴奋又有点无从下手。看着官方提供的现成案例跑得飞快，心里痒痒的，总想把自己训练好的模型也放上去试试。我最初也是这个想法，尤其是我手头有一个用 PyTorch 训练的超分辨率模型，想看看在专门的 AI 硬件上跑起来是什么感觉。经过一番折腾，我发现昇腾 CANN 的推理流程，其实比想象中要友好得多，即便是没有太多底层硬件知识的小白，也能跟着步骤一步步走通。

整个流程的核心，其实就是一条清晰的路径：PyTorch -> ONNX -> OM。听起来可能有点技术化，我打个比方：这就好比你要把一篇中文文章翻译成英文给一位外国朋友看。PyTorch 模型是你的原始中文稿，ONNX 就是一种国际通用的中间语言（比如世界语），而 OM 模型就是最终翻译成的、你那位外国朋友（昇腾处理器）最能高效理解的英文版本。CANN（Compute Architecture for Neural Networks）就是负责这个“翻译”和“沟通”的全套工具和规则。

那么，为什么费这么大劲做转换和优化呢？直接原因就是性能。我在自己的电脑上用 PyTorch 跑超分辨率模型，处理一张 2K 图片可能要好几秒。但经过 CANN 编译优化成 OM 模型后，在昇腾 310B 芯片上，同样任务可能只需要零点几秒，功耗还低得多。这对于需要实时处理视频流、或者部署在功耗受限的边缘设备（比如摄像头、无人机）上的应用来说，是质的飞跃。这个过程，就是我们常说的模型部署和推理优化。接下来，我就以超分辨率模型为例，带你完整走一遍这个实战流程，分享我踩过的坑和总结的技巧。

2. 第一步：将 PyTorch 模型“翻译”成 ONNX

我们的起点是一个训练好的 PyTorch 模型。我选择的是 MAN-light 超分辨率模型，它结构轻量、效果不错，而且有现成的预训练权重，非常适合拿来实验。这一步的目标是把它转换成 ONNX 格式。ONNX 就像一个模型界的“通用护照”，有了它，模型就能在不同的框架和硬件平台之间旅行了。

2.1 准备你的 PyTorch 模型

首先，你得确保你的模型处于纯推理模式。这很重要，因为训练模式包含了一些只在训练时用的操作（如 Dropout），会影响推理结果。

import torch
from MAN_arch import MAN  # 假设这是你的模型定义文件

# 实例化 MAN-light 模型，参数对应论文或代码库中的配置
model = MAN(n_resblocks=24, n_resgroups=1, n_feats=60, scale=2)
model.eval()  # 切换到评估模式，这行代码至关重要！

# 加载预训练权重
state_dict = torch.load('MAN-Light-x2.pth', map_location='cpu')
model.load_state_dict(state_dict, strict=True)

这里有个小坑我踩过：有些模型的权重文件可能包含一些 optimizer 的状态或者其他元信息，直接用 torch.load 可能会报错。如果遇到 strict=True 导致加载失败，可以尝试 strict=False 先看看哪些键不匹配，再针对性处理。加载成功后，建议打印一下模型结构，确认一下。

2.2 动态输入设置：让模型“能屈能伸”

超分辨率模型通常对输入图片的尺寸没有固定要求，这是它的一个优点。为了在转换到 ONNX 时保留这个特性，我们必须设置动态维度。否则，转换出来的模型就只认固定尺寸的输入了，实用性大打折扣。

# 创建一个伪输入张量，用于追踪模型计算图。尺寸可以任意，但格式要对（NCHW）。
dummy_input = torch.ones(1, 3, 256, 256, dtype=torch.float32)

# 指定输入输出的名称，以及哪些维度是动态的
input_names = ["input_image"]
output_names = ["output_image"]
dynamic_axes = {
    "input_image": {0: "batch_size", 2: "height", 3: "width"},
    "output_image": {0: "batch_size", 2: "height", 3: "width"}
}

# 执行导出
torch.onnx.export(
    model,
    dummy_input,
    "man_light_x2_dynamic.onnx",
    input_names=input_names,
    output_names=output_names,
    dynamic_axes=dynamic_axes,
    opset_version=11,  # 建议使用较新的 opset，兼容性更好
    verbose=False
)

dynamic_axes 参数是这里的灵魂。它告诉 ONNX，我们这个模型的第0维（batch size）、第2维（高）、第3维（宽）是可以变化的。这样导出的 ONNX 模型就具备了处理任意尺寸输入图片的能力。导出完成后，强烈推荐用 Netron 这个工具打开生成的 .onnx 文件看一眼。图形化界面能让你清晰看到模型的输入输出节点、各层操作，检查一下动态维度是否设置正确，心里会踏实很多。

3. 关键转换：用 ATC 工具将 ONNX 炼成昇腾 OM 模型

拿到 ONNX 模型后，我们就要请出昇腾的“炼丹炉”—— ATC（Ascend Tensor Compiler） 工具了。它的任务是把通用的 ONNX 模型，编译、优化成昇腾芯片（如 310B）能够最高效执行的 OM（Offline Model） 模型。这个步骤是在开发环境的 x86 服务器或 PC 上完成的，不需要在开发板上进行。

3.1 环境准备与 ATC 参数详解

首先，确保你的 Ubuntu 系统（可以是物理机、虚拟机或 WSL2）已经安装了对应版本的 CANN 工具包。安装过程可以参考昇腾社区文档，主要是下载 run 包、安装依赖、设置环境变量几步。

转换命令看起来复杂，但拆解开来就很好理解：

atc --model=./man_light_x2_dynamic.onnx \
     --framework=5 \
     --input_format=NCHW \
     --input_shape="input_image:1,3,-1,-1" \
     --dynamic_image_size="256,256;512,512;1024,1024" \
     --output=./man_light_x2_dynamic \
     --soc_version=Ascend310B1 \
     --log=info

我来逐一解释这些参数：

  • --model：输入的 ONNX 模型路径。
  • --framework=5：固定值，代表输入模型是 ONNX 格式。
  • --input_format=NCHW：指定输入数据的排布格式，PyTorch 默认就是 NCHW（批次、通道、高、宽）。
  • --input_shape：这里定义了输入的 shape。1,3,-1,-1 表示 batch size 为1，通道为3（RGB），高和宽用 -1 表示是动态的。
  • --dynamic_image_size：这是实现动态分辨率的关键！虽然我们在 input_shape 里写了 -1，但 ATC 在编译时需要一些具体的例子来进行优化。这里我们提供了三组分辨率：256x256， 512x512， 1024x1024。这意味着编译出的 OM 模型会针对这三种尺寸进行特别优化，运行时如果输入是这些尺寸之一，性能会最好。如果输入其他尺寸，模型也能运行，但可能走一条通用路径。提供的档位越多，转换时间越长，但覆盖的尺寸优化也越全面。
  • --output：输出的 OM 模型路径和前缀。
  • --soc_version：指定目标芯片型号，必须和你最终要运行的硬件一致（比如 Atlas 200I DK A2 是 310B1）。
  • --log=info：设置日志级别，出问题时可以改成 debug 看更详细的信息。

3.2 转换中的常见“坑”与解决思路

第一次跑 ATC 命令，很可能会遇到各种错误。别慌，这都是正常的。我遇到过的几个典型问题：

  1. 算子不支持：ATC 可能会报错，说 ONNX 模型里的某个算子（比如某个特殊版本的 Resize）昇腾芯片不支持。这是模型部署中最常见的问题。解决办法通常是：

    • 回到 PyTorch 导出 ONNX 那一步，尝试更换 opset_version（比如从 11 换成 12 或 13）。
    • 修改模型代码，用更通用、更基础的算子组合来替换那个不支持的复杂算子。
    • 查阅昇腾社区的算子支持列表，看看是否有替代方案。

  2. 动态尺寸设置冲突：如果 dynamic_image_size 里设置的尺寸和模型内部结构有冲突（比如某些层要求尺寸是 16 的倍数），ATC 也会报错。这时需要根据错误信息调整预设的尺寸，或者考虑在模型预处理阶段加入填充（Padding），将输入图片补足到合适的尺寸，推理后再裁剪回来。我在处理超分辨率模型时，就经常需要做这个操作。

  3. 精度问题：模型里用了 float64（双精度）？昇腾芯片对 float32（单精度）支持最好，float16（半精度）更快但可能有精度损失。建议在 PyTorch 导出前，将模型和输入张量都转为 float32。

转换成功的话，终端会打印出 ATC run success 的提示，并生成一个 .om 文件。这个文件就是我们的“终极武器”，可以直接被昇腾运行时加载并高效执行。

4. 实战推理：使用 AscendCL 编写推理程序

模型准备好了，接下来就是让它在开发板上动起来。昇腾提供了 AscendCL（Ascend Computing Language） 接口，这是一套 C/C++/Python 的 API，用于管理设备、内存、执行任务等。听起来很底层，但别怕，官方示例和封装好的工具能帮我们省不少力。

4.1 借鉴与改造：从官方示例入手

完全从零写 AscendCL 代码比较繁琐。最聪明的做法是“站在巨人的肩膀上”。昇腾的 samples 仓库里有很多例子，比如图像分类、目标检测的。我强烈推荐从 python/level2_simple_inference 目录下的示例开始，比如 ResNet50 分类的那个。它的代码结构非常清晰，包含了从初始化、加载模型、处理输入、执行推理、处理输出的完整流程。

我们的改造工作主要集中在几个函数上：

  • 预处理函数 (preprocess)：原示例是给 ImageNet 图片做归一化、裁剪。我们需要改成超分辨率模型的预处理，通常是 BGR/RGB 转换、归一化到 [0,1]、调整维度顺序为 NCHW。
    import numpy as np
from PIL import Image

def preprocess_for_sr(image_path, target_size=None):
    img = Image.open(image_path).convert('RGB')
    # 如果需要填充到固定尺寸（针对静态模型）
    if target_size:
        img = pad_to_target(img, target_size)
    # 转换为 numpy，归一化，转 NCHW
    img_np = np.array(img, dtype=np.float32) / 255.0  # HWC, [0,1]
    img_np = img_np.transpose(2, 0, 1)[np.newaxis, ...]  # NCHW
    return img_np, img.size  # 返回处理后的数据和原始尺寸（用于后处理裁剪）
  • 后处理函数 (postprocess)：分类模型是输出分类概率，我们超分辨率是输出高分辨率图像数组。所以这里要把推理输出的 numpy 数组，再转换回 PIL 图像并保存。
    def postprocess_from_sr(output_np, original_size):
    # output_np 形状可能是 (1, 3, H, W)
    sr_img = output_np[0]  # 去掉 batch 维度 -> (3, H, W)
    sr_img = sr_img.transpose(1, 2, 0)  # CHW -> HWC
    sr_img = np.clip(sr_img, 0, 1) * 255
    sr_img = sr_img.astype(np.uint8)
    result_image = Image.fromarray(sr_img, 'RGB')
    # 如果之前填充了，这里根据 original_size 裁剪回来
    # result_image = result_image.crop(...)
    return result_image
  • 主流程：把模型路径换成我们自己的 .om 文件，把图片输入输出路径改掉，基本就差不多了。

4.2 更简单的选择：使用 ACLlite 封装库

如果你觉得直接改 AscendCL 代码还是有点复杂，那么 ACLlite 是你的福音。它在一些高级示例（如 UNet++ 图像分割）中被使用，对 AscendCL 进行了面向对象的封装，大大简化了代码量。

使用 ACLlite，核心流程可能只需要几行：

from acllite_util import AclLiteModel, AclLiteImageProc, ImageNetConfig

# 初始化并加载模型
model = AclLiteModel('man_light_x2_dynamic.om')
# 图像处理器（内部封装了预处理）
processor = AclLiteImageProc()
# 读取和预处理图片
img_data = processor.read_and_preprocess('input.jpg')
# 执行推理
output = model.execute([img_data])
# 后处理并保存
sr_image = processor.postprocess(output[0])
sr_image.save('output.jpg')

ACLlite 帮我们隐藏了设备上下文、内存申请与释放、流同步等繁琐细节，让我们可以更专注于模型输入输出的数据处理逻辑。对于快速验证和部署原型来说，效率非常高。

5. 性能调优与进阶技巧

模型能跑通只是第一步，让它跑得又快又好才是我们的终极目标。这里分享几个我在优化超分辨率推理时的心得。

5.1 动态分辨率与静态分辨率的权衡

我们之前生成了支持动态分辨率的 OM 模型，这带来了灵活性，但可能会牺牲一点极致性能。因为芯片需要一些逻辑来判断和适配不同的输入尺寸。如果你的应用场景非常明确，输入图片的尺寸是固定的（比如永远处理 1920x1080 的视频帧），那么我强烈建议使用静态分辨率重新转换一次模型。

转换命令很简单，去掉动态参数即可：

atc --model=./man_light_x2_dynamic.onnx \
     --framework=5 \
     --input_format=NCHW \
     --input_shape="input_image:1,3,1080,1920" \  # 固定尺寸
     --output=./man_light_x2_static_1080p \
     --soc_version=Ascend310B1

这样编译出来的 OM 模型，编译器能做最大程度的图优化和算子融合，推理速度通常比动态模型快上一截，内存访问也更高效。

5.2 预处理与后处理的硬件加速

图像处理的预处理（解码、缩放、颜色转换）和后处理如果放在 CPU 上做，可能会成为整个流水线的瓶颈。昇腾 CANN 提供了 DVPP（Digital Vision Pre-Processing） 模块，这是一组专门用于视频图像处理的硬件单元，可以高速完成 JPEG/PNG 解码、图片缩放、格式转换等任务。

在 AscendCL 编程中，我们可以申请 DVPP 内存，将图片解码和缩放等操作卸载到 DVPP 硬件上执行，然后再将数据送给 AI Core 进行模型推理。这能显著降低 CPU 负载，提升整体吞吐量。对于需要处理视频流或大批量图片的应用，研究一下 DVPP 的集成是非常值得的。官方示例中有关于 DVPP 使用的代码，可以参考学习。

5.3 多模型流水线与并发推理

当你的应用需要串联多个模型（比如先做目标检测，再对每个目标做超分辨率），或者需要同时处理多路视频流时，可以考虑模型流水线和并发推理。

  • 流水线：利用昇腾芯片的多核特性，将不同的模型部署在不同的 AI Core 上，数据像流水线一样依次通过，提高整体利用率。
  • 并发推理：在 AscendCL 中，可以创建多个推理流（Stream），在每个流上独立执行模型推理任务。配合多线程，可以实现多个推理任务的真正并行，极大提升设备的吞吐能力。

这些属于进阶内容，需要对 AscendCL 的内存模型、Stream、Event 等概念有更深的理解。但一旦掌握，你就能把昇腾芯片的算力压榨到极致。

走完这一整套流程，从熟悉的 PyTorch 环境，到生成神秘的 OM 模型，最后在小小的开发板上看到低分辨率图片被清晰放大，这种成就感是非常实在的。昇腾 CANN 这套工具链，虽然初期需要适应一些新的概念和命令，但它的设计思路是清晰的，文档和社区资源也在不断丰富。最关键的是，它真的能带来显著的性能提升，让很多之前受限于算力和功耗的 AI 应用，在边缘端落地成为了可能。我自己的项目里，已经计划把几路摄像头的实时画质增强任务放到昇腾开发板上了，期待它稳定工作的表现。

# 昇腾 # CANN
Logo
乐奇 Rokid 开放社区

更多推荐

cover

AR巡检哪家好，和浪潮比哪家方案更成熟

avatar 乐奇 Rokid 开放社区
cover

AR巡检哪家好

avatar 乐奇 Rokid 开放社区
cover

国庆文旅安保上新！AR智能眼镜守护景区，黑科技护航假期出游

avatar 乐奇 Rokid 开放社区