HALCON深度学习实战：如何用MVTEC DEEPLEARNING TOOL快速搭建二维码质检模型

在工业自动化浪潮中，视觉质检正经历一场深刻的范式转移。过去，我们依赖精心设计的传统算法，像一位经验丰富的老师傅，用一套固定的“规矩”去审视每一个产品。然而，面对二维码内部微小的划伤、印刷不均或材料反光带来的干扰，这些“规矩”常常显得力不从心，要么过于敏感导致误判，要么过于迟钝造成漏检。这时，深度学习就像一位具备超强学习能力的学徒，它不预设规则，而是从海量的“经验”（数据）中自己总结出区分良品与不良品的微妙特征。对于急切需要将AI质检落地的工程师而言，最大的挑战往往不是算法本身，而是如何高效地走完从数据到部署的完整闭环。MVTEC DEEPLEARNING TOOL（DLT）正是为此而生，它作为HALCON生态中的“模型快速装配线”，将数据标注、模型训练、评估优化集成在一个直观的图形界面中，极大地降低了深度学习应用的门槛。本文将聚焦于二维码划伤检测这一具体而棘手的工业场景，手把手带你体验如何利用DLT，在短时间内构建一个可靠、高效的深度学习分类模型，并分享从数据准备到模型调优的实战心得。

1. 项目起点：精准定义问题与数据策略

在启动任何深度学习项目之前，清晰的问题定义是成功的基石。二维码划伤检测，本质上是一个二分类问题：将图像分类为“OK”（无划伤或划伤在可接受范围内）或“NG”（存在影响识读的划伤）。但“可接受范围”这个标准本身就需要与业务部门反复确认，并将其量化为具体的图像特征。

1.1 数据采集的“道”与“术”

数据是模型的燃料，其质量直接决定模型性能的天花板。对于工业质检，数据采集需遵循几个核心原则：

  • 场景真实性：采集环境应尽可能与最终部署环境一致，包括光照条件（光源类型、角度、强度）、相机型号与参数、产品摆放位置等。一个在均匀光照下训练的模型，很可能在产线实际的不均匀光照下失效。
  • 缺陷覆盖度：NG样本需要尽可能覆盖所有可能出现的划伤类型，如深浅、长短、方向、位置（是否覆盖关键定位图形或编码区域）的多样性。如果某种缺陷在训练集中从未出现，模型几乎不可能在推理时正确识别。
  • 样本平衡性：虽然工业场景中OK样本远多于NG样本是常态，但严重的样本不平衡（如1:100）会导致模型倾向于将所有样本预测为多数类（OK）。我们需要策略性地处理这个问题。

一个实用的数据准备流程可以这样展开：

  1. 原始数据收集：从产线连续采集一段时间内的所有图像，包含各种正常情况和已知的缺陷品。
  2. 初步筛选与归类：依据质检标准，人工将所有图像初步分为“OK”和“NG”两大类。建议使用两个独立的文件夹进行存储，这为后续DLT导入提供了便利。
  3. 数据增强考量：思考哪些增强技术适用于你的场景。对于二维码，需要极其谨慎。旋转、缩放、剪切等几何变换可能会破坏二维码的结构，导致其本身无法被解码，这引入了无关的噪声。更安全的增强方式可能是针对图像质量本身的，例如：
    • 模拟光照变化：轻微调整亮度、对比度。
    • 添加噪声：模拟相机传感器噪声。
    • 模拟模糊：模拟轻微对焦不准或运动模糊。

注意：在DLT中，数据增强通常在创建项目时作为预处理参数进行设置。对于二维码分类，建议先关闭所有几何变换增强，仅保留色彩抖动等安全的选项，待基线模型建立后，再谨慎尝试。

1.2 DLT项目初始化实战

打开MVTEC DEEPLEARNING TOOL，其界面设计非常直观。点击“New Project”，我们将步入模型创建的第一步。

  • 项目类型选择：选择 “Classification”。
  • 数据导入：这里正是利用我们前期整理好的文件夹结构的地方。DLT允许你直接指定包含“OK”和“NG”子文件夹的父目录，它会自动识别类别。你也可以分别导入两个文件夹。
  • 关键参数设置：
    • 模型架构：DLT提供了预置的几种网络，如“ResNet-18”、“ResNet-50”等。对于二维码分类这种相对简单的任务（但特征细微），ResNet-18通常是一个很好的起点，它在速度和精度之间取得了平衡。如果初步训练效果不佳，可以升级到更深的ResNet-50。
    • 图像尺寸：统一输入尺寸。考虑到二维码图像本身不大，且需要保留细节以观察划伤，不建议设置得过小（如小于224x224）。通常256x256或288x288是一个合理的起点。
    • 训练/验证分割：DLT会自动按比例（如80%/20%）随机分割数据集。为了确保评估的公正性，特别是当NG样本很少时，可以考虑启用“Stratified Split”（分层分割），以保证训练集和验证集中OK/NG的比例大致相同。

完成这些设置后，DLT会提供一个清晰的数据集概览，包括各类别的样本数量，让你对数据平衡性一目了然。

2. 模型训练与核心参数解析

点击“Start Training”，DLT便开始自动化训练流程。但作为工程师，我们不应只做旁观者，理解背后的关键参数，才能在模型表现不佳时知道如何调整。

2.1 理解训练过程中的关键指标

DLT的训练界面会实时显示两条曲线：训练损失和验证损失，以及验证准确率。它们是模型健康的“心电图”。

指标含义健康状态解读异常状态与可能原因
训练损失模型在训练集上的预测误差。随着迭代持续下降，最终趋于平缓。剧烈波动：学习率可能过高。
不下降：模型能力不足或学习率过低。
先降后升：可能出现了过拟合。
验证损失模型在未见过的验证集上的预测误差。随训练损失同步下降，但最终高于训练损失。下降至某一低点后趋于稳定或开始缓慢上升。远高于训练损失且持续上升：典型的过拟合标志。
与训练损失一样高：可能是欠拟合。
验证准确率模型在验证集上分类正确的比例。随着训练稳步提升，最终稳定在一个较高值。提升缓慢或停滞：模型可能遇到瓶颈，需调整架构或数据。
达到100%：需警惕，可能是验证集数据太少或与训练集有重叠。

一个理想的训练过程是：训练与验证损失同步快速下降，验证准确率快速攀升；随后训练损失继续缓慢下降，而验证损失停止下降并稳定，验证准确率也稳定在峰值附近。

2.2 应对工业场景的典型挑战：过拟合与欠拟合

工业数据集往往NG样本少，容易导致模型记住训练集中的特定噪声而非学习通用特征，即过拟合。反之，如果特征过于微妙或模型太简单，则会导致欠拟合。

针对过拟合的调优策略：

  1. 数据层面：
    • 增强NG样本：在允许的范围内，对NG图像进行安全的增强（如前述的光照、噪声变化），人工扩充其多样性。
    • 引入更多真实数据：这是最根本的解决方法。
  2. 模型与训练层面：
    • 启用正则化：在DLT的高级设置中，可以调整Weight Decay（权重衰减，即L2正则化）参数，增加其值（如从0.0001调到0.001）以惩罚大的权重，使模型更简单。
    • 使用Dropout：如果选择的网络架构支持，可以启用Dropout，在训练时随机“关闭”一部分神经元，防止协同适应。
    • 早停：密切观察验证损失。当验证损失在连续多个epoch（训练轮次）不再下降反而开始上升时，手动停止训练，并回滚到验证损失最低的那个模型快照。DLT通常会自动保存最佳模型。

针对欠拟合的调优策略：

  1. 增加模型容量：将基础架构从ResNet-18切换到更深的ResNet-50或ResNet-101。
  2. 调整学习率：如果初始学习率设置过低，模型收敛会非常缓慢。可以尝试适当增大学习率，或使用DLT内置的学习率预热（Warm-up）和衰减（Decay）策略。
  3. 训练更长时间：增加epoch数量，给模型更多学习时间。
# 以下是一个概念性的伪代码，说明在HALCON中如何实现早停逻辑
# 在实际DLT训练中，这个过程通常是自动或半自动的

best_val_loss = float('inf')
patience = 10  # 容忍验证损失不下降的epoch数
patience_counter = 0
best_model_path = ''

for epoch in range(total_epochs):
    # 训练一个epoch...
    train_model_one_epoch()

    # 在验证集上评估...
    current_val_loss = evaluate_on_validation_set()

    if current_val_loss < best_val_loss:
        best_val_loss = current_val_loss
        patience_counter = 0
        # 保存当前最佳模型
        save_model('best_model.hdl')
        best_model_path = 'best_model.hdl'
    else:
        patience_counter += 1

    if patience_counter >= patience:
        print(f'早停触发于第 {epoch} 个epoch。')
        break

# 训练结束后，加载性能最佳的模型
final_model_handle = read_dl_model(best_model_path)

3. 模型评估与性能深潜

训练完成后，DLT提供的“Evaluation”视图是我们进行模型“体检”和“诊断”的核心场所。不能只看总体准确率一个数字。

3.1 混淆矩阵：看清模型的“错误偏好”

混淆矩阵是分类任务中不可或缺的分析工具。对于一个二分类问题，矩阵如下：

实际 \ 预测预测为 OK预测为 NG
实际为 OK真正例 (TP)假反例 (FN)
实际为 NG假正例 (FP)真反例 (TN)

在工业质检中，不同类型的错误代价不同：

  • 假正例：把OK品误判为NG。导致过杀，增加生产成本。
  • 假反例：把NG品误判为OK。导致漏检，影响产品质量，风险最高。

通过DLT的混淆矩阵，你可以立刻看出模型更倾向于犯哪种错误。如果FP很高，说明模型过于敏感；如果FN很高，说明模型过于宽松。

3.2 关键性能指标计算

基于混淆矩阵，我们可以计算更细致的指标：

  • 精确率 = TP / (TP + FP)。 “抓得准不准”。对于降低过杀率很重要。
  • 召回率 = TP / (TP + FN)。 “抓得全不全”。对于降低漏检率至关重要。
  • F1分数 = 2 * (精确率 * 召回率) / (精确率 + 召回率)。 精确率和召回率的调和平均数，是综合衡量指标。

在DLT中，你可以通过调整分类阈值（Threshold）来观察这些指标的变化，从而在“精确率”和“召回率”之间根据业务需求进行权衡。例如，如果漏检的代价极高，你可以适当降低阈值，提高召回率（即使这会增加一些过杀）。

3.3 错误案例分析

DLT允许你直接查看被错误分类的样本图像。这是最有价值的调试步骤。花时间逐一分析这些“难题”：

  • 被误判的OK品，是否图像本身存在异常（如脏污、反光）？
  • 被漏检的NG品，其划伤特征是否在训练集中确实罕见或形态特殊？
  • 这些图像是否需要被加入训练集进行重新训练？

这个分析过程能为你提供下一步是优化数据、调整参数还是修改预处理流程的直接依据。

4. 模型部署与HALCON集成实战

当你在DLT中获得了一个满意的模型后，点击“Export”即可导出模型文件（.hdl）和对应的预处理参数文件（.hdict）。接下来就是将模型嵌入到HALCON视觉程序中的环节。

4.1 HALCON推理流程代码拆解

将DLT导出的模型集成到HALCON程序中，流程是标准化的。下面我们逐段解析一个典型的推理流程，并加入关键注释：

* 1. 关闭不必要的更新，提升运行效率
dev_update_pc ('off')
dev_update_var ('off')
dev_update_window ('off')

* 2. 创建显示窗口
dev_close_window ()
dev_open_window (0, 0, 800, 600, 'black', WindowHandle)

* 3. 读取模型和预处理参数
* 这两个文件路径是DLT导出时提供的
read_dict ('path/to/your/model_preprocess_params.hdict', [], [], DLPreprocessParam)
read_dl_model ('path/to/your/trained_model.hdl', DLModelHandle)

* 4. 选择推理设备（优先GPU）
query_available_dl_devices (['runtime', 'runtime'], ['gpu', 'cpu'], DLDeviceHandles)
if (|DLDeviceHandles| == 0)
    throw ('未找到可用的推理设备（GPU/CPU）。')
endif
* 通常首选GPU设备以获得更快速度
DLDevice := DLDeviceHandles[0]
set_dl_model_param (DLModelHandle, 'device', DLDevice)

* 5. 准备图像文件列表（这里以读取文件夹为例）
list_files ('path/to/your/test_images', ['files','follow_links','recursive'], ImageFiles)
* 筛选出常见的图像格式文件
tuple_regexp_select (ImageFiles, ['\\.(tif|tiff|jpg|jpeg|png|bmp)$', 'ignore_case'], ImageFiles)

* 6. 循环处理每一张测试图像
for Index := 0 to |ImageFiles| - 1 by 1
    * 读取图像
    read_image (Image, ImageFiles[Index])
    
    * 创建样本字典，并将图像放入
    create_dict (DLSample)
    set_dict_object (Image, DLSample, 'image')
    
    * 关键步骤：使用导出的参数对图像进行与训练时一致的预处理
    * 这包括调整尺寸、归一化等操作，确保输入格式与训练时完全一致
    preprocess_dl_samples (DLSample, DLPreprocessParam)
    
    * 执行模型推理
    apply_dl_model (DLModelHandle, DLSample, [], DLResult)
    
    * 7. 解析并显示结果
    dev_display (Image)
    * 获取预测的类别名称（如‘OK’， ‘NG’）
    PredictedClass := DLResult.classification_class_names[0]
    * 获取预测的置信度分数
    Confidence := DLResult.classification_confidence[0]
    
    * 根据预测结果和置信度进行判断和可视化
    if (PredictedClass == 'OK' and Confidence > 0.95) // 可以设置一个高置信度阈值
        set_color (WindowHandle, 'green')
        DispText := 'OK - 置信度: ' + Confidence$'.2f'
    elif (PredictedClass == 'NG' and Confidence > 0.90)
        set_color (WindowHandle, 'red')
        DispText := 'NG - 置信度: ' + Confidence$'.2f'
    else
        set_color (WindowHandle, 'yellow') // 低置信度，可能需要人工复核
        DispText := '待复核(' + PredictedClass + '): ' + Confidence$'.2f'
    endif
    
    set_tposition (WindowHandle, 30, 30)
    write_string (WindowHandle, DispText)
    
    * 短暂暂停以便观察
    wait_seconds (0.5)
endfor

4.2 性能优化与生产环境考量

在实验室跑通只是第一步，部署到产线还需考虑：

  • 推理速度：使用query_available_dl_devices确保程序优先使用GPU。在HALCON中，还可以通过set_dl_model_param调整批处理大小（batch_size）来进一步优化吞吐量，但需要平衡延迟和内存占用。
  • 鲁棒性处理：增加异常处理逻辑，如图像读取失败、模型加载失败、推理超时等情况。
  • 结果集成：将分类结果（OK/NG）与置信度、时间戳等信息，通过TCP/IP、OPC UA或直接写入数据库的方式，集成到上位机MES或SCADA系统中。
  • 模型监控与更新：建立机制，定期收集产线上模型判断不确定（低置信度）或人工复核发现错误的样本，用于后续的模型迭代优化。DLT支持增量学习，你可以用新数据在原有模型基础上继续训练，而无需从头开始。

从在DLT中标注第一张图片，到在HALCON中看到模型稳定地运行在产线图像上，这个过程充满了挑战，但也极具成就感。关键在于理解每个环节背后的逻辑，不迷信黑箱，用数据和分析驱动决策。当你的模型成功捕捉到那个人眼都难以瞬间辨别的细微划伤时，你会深刻体会到，深度学习不再是遥不可及的技术，而是工程师手中解决实际生产痛点的得力工具。

# 深度学习 # 分类
Logo
乐奇 Rokid 开放社区

更多推荐

cover

一期一会 | 什么是抬头显示器（HUD）？

avatar 乐奇 Rokid 开放社区
cover

极刻觅镜 | AI眼镜周报｜Rokid四款硬件发布与Android XR工具转稳定版

avatar 乐奇 Rokid 开放社区
cover

极刻觅镜 | AI眼镜日报｜京东智能眼镜西安站活动与千问AI眼镜OTA升级

avatar 乐奇 Rokid 开放社区