摘要

为提高苹果自动分拣包装的效率和准确性，设计了一种基于机器视觉的苹果缺陷知识自动分拣包装系统。该系统首先根据机械结构对苹果进行分类，然后利用机器视觉对苹果图像进行采集和处理，完成更精准的分选。该系统经反复实验证实，可完全替代苹果采集区的人工控制，快速完成搬运作业，有效提高运输自动化程度。

关键词：PLC控制;视觉识别;缺陷检测;苹果分拣；

1 前言     

该系统的提出是为了解决目前苹果生产后的质量分类和包装效率低[1]、影响不充分的问题，同时也影响到许多人为因素，快速识别和开发（颜色）检测，最大限度地发挥自动化和智能化的影响[2]，减少人力资源的浪费。以PC扫L为上位机，以西门子的57-1200 PLC作为下位机。又避免了人为主观因素导致分类不合理的问题，提高了作业效率[3]。

2 总体概述及系统各结构

2.1总体概述

    系统软件以HALC中的视觉处理器为核心构建[4],主要分为三个部分：以HALC()V中有关视觉处理的算子为核心，主要分C#,PLC程序三个部分 C#了解摄像头的管理，读取图像[5]，发送处理结果和与PLC通信发送苹果的位置信息； 实现系统的启动、分拣、包装、停止，部分系统结构如图1所示。

图1 系统部分结构图

    苹果本体通过传送带中的窄苹果链一一进入苹果采集区，数量传感器开始计数，右端的苹果收集区，逐行完成（见图 2）。 当计数达到预定数量的苹果 N 时[6]，计数器清零并启动分析系统。如果检测结果合适，将激活处理系统进行自动处理和包装。检测系统返回原位后[7]，等待感应信号进入下一个检测周期。如果检测结果不合格，将激活警报系统，并在苹果采集区的苹果模拟手动正确安排后重新进行测试[8]。

圈2 系统工作流程图

2.2 精确的电气控制系统

工控机的功能为:实时读取下位机的触发信号，控制相机拍照[9]；对摄像机传输的图像进行图像处理，并将发现的结果发送到下位机[10]。

PLC的功能是：接收传感器信号（接通传感器信号）和复位信号，触发警告信号，发射伺服搬运系统[11]。    

实现过程:数字传感器连接到输入端口X4，输入端口X3由下位机程序中的上升沿计数器C3计数。当C3计数达到N时，MS置位[12]，上位机要求MS开始控制相机拍照，同时发送。重置 MS 中的信号并设置 Y3（打开光源）。

启动搬运系统后第一步:相机光源轴旋转90°。 第二步：将苹果盒升降电机下降到指定位置，肩架约束苹果本体[13]，迫使气缸到达苹果的活动侧板，抓住苹果，苹果盒回到起始位置[14]。 第三步：卡带电机转过1800转，将苹果本体放入盒子中转1800转后转。第一步结束时，摄像机光源与主轴的夹角为0°。PLC主要输入输出点分布如表1所示。

表1  PLC主要翰入输出点分配怡况

箱人点分配				输出点分配
X1一X3	X4	X5	X6-X8	Y0-Y2	Y3	Y4	Y5-Y7
伺服准备好	计数传感器	复位 开关	伺服零点信号	伺服高速脉冲箱出	光源控制信号	报警信号	伺服方向输出

2.3 专用的上下位机通信系统

上位机系统为工控机，下位机系统为可编程序控制器[15]。上位机与下位机的通讯功能主要是将上位机的图像处理结果发送给下位机，以控制交换或进行传输[16]。 同时，上位机接收激活信号（由传感器18给出）。主要任务是通过上位机读写下位机的软元件。通讯线接受SC-09编程线（RS-232-RS-422转换线支持所有协议[17]，可替代通讯模块FX-Z32AW或FX-232AWC），编程门户支持的协议见表2和表3。

表2强制t位时计算机向PLC发送报文
始	功能码	地址	终	和校验
STX	CMD	ADDRESS	ETX	SUM
02h	37h	address	03h	sum

PLC返回ACK (06H)接收正确，NAK(15H)接收错误。

表3读取软设备状态计算机向PLC发送报文
始	功能码	地址	字节数	终	和校验
STX	CMD	ADDRESS	BYTES	ETX	SUM
02h	37h	address		03h	sum

PLC 返回 STX、、LAST DA-TA、ETX、SUM。 设置MS为地址，则地址为：5x256(IOOH)+8=I288，改为十进制为0508，再改为ASCII为：30H 35H 30H 38H，即表2中的地址. 软件的上位机检测系统包括通讯单元功能[18]。 这里使用VB进行串口通信，使用MSComm控件。处理通信的方法是选择事件驱动的方式，相当于一般编程的中断方式[19]。 根据协议，MSComm 控制资产必须设置为：波特率:9 600 bids，奇偶:event,校验。通讯模块意味着系统不需要机器视觉系统中常见的数据输入输出UO板和PLC液晶触摸屏，可以直接在电脑上改变或监控PLC中的数据变量，节省系统费用[20]。

2.4 基于机器视觉的苹果大小分级技术

基于机器视觉的苹果尺寸技术的总体结构由三部分组成[21]：运输设备、图像处理系统和照明系统[22]。分选方法是：将清洗干净、晒干的苹果通过运输设备运送到摄影机房，相机从多个角度拍摄每个苹果，并将拍摄的图像发送到计算机。 计算机首先对苹果图像进行背景分割[23]、平滑、褐变等预处理，然后对预处理后的图像进行数据处理，并将处理结果发送给计算机进行计算，从而确定每个苹果的等级。其中苹果的输送装置不仅仅只负责苹果的传输，也是机器视觉识别苹果技术的基础平台[24]。

(1)送装

    当苹果分拣需要实时测量传送带送来的苹果果径时，需要摄像头从多个角度拍摄苹果，所以整个系统必须能够快速、准确地采集苹果的果径。安全地同时能够自由旋转[25]，目前苹果分选主要有以下三种运输方式:

    (2)下滚子输送机构

    在运输苹果的过程中，运输装置上方的摄像头对运输过程中，进行图形化图像。当苹果进入相机下方时，图像处理系统也会快速采集每个苹果的表面。相机的拍摄速度必须至少为每秒 4-6 次。因此，这种类型的卷筒运输设备得到了国内外大多数研究人员的认可。摄像头最大的作用就是在移动苹果的同时旋转苹果自身的轴心。因此，上位摄像头图像采集设备可以在给定时间内采集一个苹果的多个表面图像信息，从而获得该苹果的所有表面图像信息。摄像头五金样机是对原苹果加工厂的苹果分选线输送机进行人工改进，最终达到苹果自动分选的目的。但是，倾斜装置也有很多缺陷，比如如果苹果的形状不正常，它的旋转就不能继续，或者旋转速度与普通苹果的旋转速度不一致，就不能达到很好的效果。另外，每个苹果的旋转方式是不一致的，不能保证相机在一定时间内可以采集到某个苹果四面八方的信息，会留下无法采集到的苹果表面。第三，拍摄旋转的苹果会使后面需要处理的图像模糊，影响处理结果，在排序操作中会造成一定的误差，影响排序。

图1 滚子输送机构简图

3 图像采集系统和预处理

在当今智能化、自动化的检测设备中，机器视觉系统，其可以模拟人眼的功能，从图像中提取的数字信息可以通过处理和分析应用于实际的测量、检测和控制领域。机器视觉系统可以提高自动化和生产效率。在人类视觉难以满足的工作和不适合人工使用的危险条件下，在批量生产的工业过程中，人工检测产品质量不仅质量低而且效率低，使用机械代替人眼检测方法可以大大提高生产效率。

3.1系统标定参数

在实验研究中，相机与相机之间的零件距离不同，计算机采集的零件大小也不同。一般来说，拍摄的部分距离应与相机的焦距相称。为保证系统的评分系统，设置实验的系统校准变化。 具体方法是：选择一个半径R等于一个苹果大小的标准球（如网球），放入灯箱中，得到一张图片。计算机绘图软件测量球体的像素半径，标定系统参数K的计算公式:

这些包括系统的 K 校准系数； R是球体的实际半径； r 是球体的像素半径。 得到系统标定参数K后，在后续的研究实验中，可以将系统采集到的苹果图像的多像素半径r，随K值改变为苹果的系统测量半径。

(1)阂值分割法

其中:

表示为闭值，

分别表示目标物和背景灰度级。

(2)中值滤波法

二维中值滤波基本原理为:

    其中，

它们是原始图像和处理后的图像。 W为二维模板，通常为2*2、3*3。

3.2 边缘检侧

    图像的边缘是物体最基本的外部特征，图像的边缘是物体的基本外部特征。当人们看到一个物体时，他们首先感觉到的是边缘。棕色分析的作用是区分一个零件和另一个零件的边界，它可以显示目标零件的轮廓。通常我们形成的实际物体是三维的，而图像中的物体则是二维显示的。这个过渡期会造成部分误差，再加上光照不均和噪点的影响，很可能会造成目标物体的某些边缘找不到。因此，以这种方式识别的边缘不能被认为是标记的实际边缘。要解决这个问题，可以使用微分运算来分析。目前用于边缘分析的算子主要有梯度算子、Kirsh算子、拉普拉斯算子、Sobel算子与Marr算子等。该系统的主要目的是分析苹果的大小。因此，首先需要确定苹果的轮廓曲线，分析图片中苹果的边缘。经过前两个阶段的图像分割和图像柔化后，苹果线两侧的灰度比较均匀，但轮廓曲线上的灰度发生了变化。因此，本研究将使用Sobel算子来检测苹果的边缘。

(1) Sobel边缘检测算子

Sobel算子算法是一种常见的一级微分，常用于图像棕色分析。Sobel算子有两种形式：一种包括是水平边缘的检测与垂直水平边缘的检测;另一形式则是各向同性。如下图2所示，模板中的数字代表模板系数，梯度方向与边缘方向总是正交垂直。

(a)水平梯度方向，检测垂直边缘

(b)垂直梯度方向，检测水平边缘

图2 Sobel算子

3.3 基于颜色特征的外部缺陷检测

(1)颇色模型的选择

在彩色图像处理过程中，最重要的选择是颜色模型。颜色模型类似于坐标系，它可以代表任何颜色。人们不仅可以使用这个空间坐标来校准颜色，还可以产生颜色。

1.RGB模型    

RGB 模型包含三个元素 R、G 和B 作为其分量的轴和范围，如图3所示。在下图中的RGB模型立方体中，光源用黑色表示，三个分量的亮度最弱。当三个部分最强时，表示白色，连接白色和黑色的线为灰色。

图3 RGB模型

在RGB模型中，任意一种颜色C表示为:

式中，C代表每种混合物的颜色，R代表红色，G代表绿色，B代表蓝色，r代表红色的比例，g代表绿色的比例，b代表蓝色的比例。

2.HSI彩色模型

HSI 色彩空间是基于人类视觉系统设计的，其 H 属性是色彩、色彩饱和度和亮度。HSI 色彩空间由锥形空间模型描述，如下图4所示。

图4 HSI模型

    这种圆锥空间模型比RGB模型复杂，但它可以清楚地表达色调、亮度和饱和度，而RGB模型则不能。 HSI 颜色模型的组成部分不会影响外部亮度，但 RGB 颜色模型会对外部亮度产生显着影响。因此，RGB颜色模型对照明设备的要求非常高。 颜色可以用颜色空间来表现，但表现形式不同，颜色空间可以相互转换。

以下为RGB模型转换为HSI模型的公式:

3.4 图像识别与算法处理

（1）颜色空间选择

机器视觉中色彩的必须通过构建适当的色彩空间来实现协调的表达和测量。 RUB、HSI、YUV等色彩空间被广泛使用。其中，它的色彩表现更容易被人眼接受（H为色相，S为色彩饱和度，I为色彩的明度），因此选择HSI色彩空间进行分析。 由于相机采集到的图像是基于RUB空间的，需要使用下面的公式进行转换。因为H（颜色）在识别和检测苹果缺陷时原则上不会改变，所以不需要一个计算。

其中: