基于改进Yolo v3的电连接器机器视觉检查
针对电连接器缺陷检测自动化程度低、检测精度低、检测速度慢、鲁棒性差等问题,本文提出了一种改进的Yolo v3算法来检测电连接器缺陷。首先,采用K-means聚类算法对本文的数据集进行聚类分析,以得到三种具有长宽比的候选帧,以提高缺陷对象的检测精度。将骨干网第三残差块输出的8倍降采样特征图进行4次升采样,将获得的特征图与第二残差块输出的2倍降采样特征图合并,得到融合特征检测层;将目标检测层通过的6个DBL单元更改为2个DBL单元,并加上2个残差单元,以改善特征重用和获取;另外,本文选择单尺度特征图进行目标检测,而不是对原始网络进行多尺度预测,不仅节省了计算量,而且在一定程度上避免了误检测。
针对电连接器的内圈和外圈之间的相对旋转缺陷,本文提出了一种新的检测方法。定性和定量实验结果表明,本文改进的Yolo v3算法在检测各种类型电连接器缺陷时具有较好的性能和速度,准确率达93.5%,比Faster R-CNN准确率更高。原始的Yolo v3速度更快,基本上可以满足工业领域对电连接器测试的要求。
第一节:引言
电连接器是整个航空航天工业中非常重要的部分,起着电源连接和数据连接的作用,由于其密封强度、高弯曲强度、良好的气密性等特性,在航空航天、家用电器和其他领域的连接和包装,它起着举足轻重的作用。
由于圆形电连接器的生产中存在各种缺陷,因此缺陷检测必不可少。在生产过程中,焊点很容易掉落在焊杯上(如图1所示),导致焊点出现在焊杯表面,从而出现无法完全密封甚至无法连接的情况。因此,有必要检测焊料点的存在以去除焊料。
另一方面,在焊接地线的过程中,由于机器或手动操作的错误而导致地线的焊接错误,将直接导致电连接器的插针不接地甚至短路,导致整个系统崩溃。因此,有必要检测接地线的位置,以确定接地线是否焊接错误。
最后一个缺陷是圆形电连接器的内圈和外圈相对旋转,因此插头和插座无法连接在一起,导致连接器无法正常使用。一旦有缺陷的电连接器在使用过程中出现问题,将导致整个系统崩溃甚至危及生命和财产安全,损失无法估算。因此,电连接器的缺陷检测非常重要。
图1.焊点缺陷。
目前,电连接器的主要检测方法如下:1)人眼观察法,检测效率低,受人为主观因素的影响很大,不能保证其准确性。另外,检查人员需要拿起工件并将其放在放大镜下进行观察。手上的汗渍和敲打可能会导致金属工件腐蚀或损坏;2)机器视觉检查方法。该方法具有更高的效率、准确性和可重复性,并且是非接触式方法,对工件无损。
与人眼检测相比,机器视觉具有更明显的优势,但是目前大多数连接器缺陷检测仍采用人眼观察方法,该方法主要是在检测过程中依靠人眼,因此无法保证检测的准确性和结果,并且无法获得重复性和可追溯性。
目前,关于电连接器的外观检查的研究很少。其中,研究最多的问题是电连接器壳体的缺陷,对电连接器的插座部分的缺陷的研究较少。江苏大学李建康(音译)研究提出了一种基于小波分析的纹理缺陷检测方法,以检测电连接器的表面粗糙度。他创新地提出了粗糙度特征参数的提取并建立了粗糙度模型。他的主要研究领域是壳体的外观检查,本文的重点是检测电连接器的功能缺陷,以确定其是否可以正常使用。其外壳检查只能离线检测,不能满足现代自动化生产线的需求。
哈尔滨工业大学卢家瑜(音译)提出了一种基于灰度特征的引脚匹配模板匹配算法和一种基于灰度质心的引脚定位算法。它主要实现引脚的识别和定位,但尚未执行下一步检测,并且主要缺陷检测尚未完成。该方法只能识别一种类型的电连接器,并且只能放置在特定位置,否则无法识别。
北京航空航天大学的杜福州提议使用基于支持向量机(SVM)的双目视觉对各种类型的引脚进行分类和识别,并识别相应引脚的缺陷,但这种方法的平均识别时间为1.1秒并且有待改进,无法在不同位置识别电连接器。综上,关于多模型电连接器缺陷检测的研究很少,传统的图像处理方法经常被用于检测,存在精度低、实时性差、鲁棒性差等问题。为了解决这些问题,本文提出使用深度学习来解决电连接器的三种常见缺陷检测方法。
第二节.电连接器的缺陷特性分析
A.焊点缺陷特征分析
本文的研究对象之一是由于生产过程中的问题而导致的电连接器焊杯上散落的焊点。焊点可能散布在焊杯上的任何位置,并且形状和大小不固定,如图1所示是焊点缺陷。焊杯是引脚的固定底座,引脚是电连接器的连接部分。如果存在焊点,可能会导致接触不良甚至无法连接,因此在出厂之前必须对工件进行测试以排除这种情况。焊点的尺寸和形状不固定。灰度预处理后,在不均匀的光照条件下将显示不同的灰度值。传统的图像处理技术很难检测到焊点,其准确性和速度也难以满足现代生产线的测试要求。
B.接地线焊接错误的分析
本文的另一个研究对象是电连接器的接地线。接地线可能没有焊接到指定的引脚上,而是由于生产过程中操作员或机器的操作错误而焊接到了引脚的左侧或右侧,如图2所示。接线错误。绿色框表示接地线的正确焊接位置,两个红色十字框表示接地线可能被错误焊接的位置。图片显示了正确的焊接位置。
如果接地线焊接错误或漏焊,可能会导致严重的泄漏事故,甚至影响人们的生命和财产安全。本文的研究内容是基于现代生产线在线测试需求的前提。在测试期间,电连接器的位置不是固定的,这使得无法确定接地线相对于整个电连接器的位置以及接地线是否正确焊接。地面线检测可以通过传统的图像处理技术来实现,但是传统的图像处理技术侧重于特征的提取,对于具有更多特征的稍微复杂的场景,它不能很好地提取特征,因此只能在相对简单的情况下使用实时性要求较低的背景和场景。
显然,这种方法不能满足该主题的需求,但是近年来流行的深度学习网络模型可以很好地解决该问题。与传统的目标检测算法相比,深度学习使用多层卷积网络来提取高级信息,并且可以同时以更高的准确性和更强的泛化能力提取基础信息。Yolo v3网络模型在考虑准确性的同时具有快速识别速度,并且增加了小目标识别的优化,这更适合此主题。
图2.地线的交错焊接图。
C.电连接器内圈和外圈的相对旋转缺陷分析
本文的研究重点是圆形电连接器的内圈和外圈的相对旋转。如图3所示,电连接器内部的浅色圆形区域是内环,外部暗环区域是外环。黄线代表外圈的中心轴,绿线代表内圈的中心轴。普通电连接器的中心轴应重合。
在电连接器的生产过程中,由于工人的错误,内圈和外圈的位置不对齐,导致内圈和外圈的中心轴相对旋转。因为内圈的位置旋转,并且内圈上的插座同时旋转,所以插座的位置无法与正确的销钉对齐。结果,在连接过程中连接导轨后,外圈无法再插入,因此无法正常使用。为了避免这种情况,必须检测不合格的工件,即检测内圈和外圈的中心线的相对旋转角度。传统的图像处理技术还没有关于这种缺陷检测的相关研究。我们可以使用模板匹配的方法分别检测内环和外环模板,在两个模板上建立直角坐标系,并计算出相应的角度。但是,模板匹配检测存在检测速度慢、不稳定、鲁棒性差等问题。另外,无法满足该主题中对工业现场的实时检测的要求,并且放置在不同位置的电连接器的检测效果差。
本文创新地提出使用改进的Yolo v3来识别和定位内外圈区域,将内外圈区域的中心线方向映射到图像,分别计算内外圈的中心线角度,并获得相对旋转角度差代表相对旋转度。从而完成对此类缺陷的检测。将Yolo v3从整个对象的检测转换为对对象的特定部分的识别,并将其应用于实际生产操作。将深度学习网络用于目标检测将大大提高识别精度,并增强识别的鲁棒性。对于不同的场景,不同位置的电连接器具有更好的检测结果。
图3.内圈和外圈的相对旋转缺陷。
第三节.Yolo v3
Yolo算法由Redmon等人提出。在2016年,它将整个图像作为输入并将目标检测问题转换为简单的回归问题。在2018年,它发展到了第三代Yolo V3。顾名思义,只要执行前向操作,它就可以完成目标检测。由于此功能,它的运算速度比其他目标检测算法快,但准确性降低。在保持Yolo v2的速度的同时,Yolo v3大大提高了检测精度,特别是对于小目标的识别。
A.网络结构
通过改进现有的骨干网络结构,很大程度上可以实现每一代Yolo的提升,Yolo v3也不例外。Yolo v3已从Yolo v2的Darknet-19升级到Darknet-53,并且卷积层已增加到53层。其网络框架如图4所示。Darknet-53借鉴了残留神经网络(resnet)的概念,并向网络添加了5个残留块(residual)。每个残差块包含不同数量的残差单元(res_unit)。残差单元主要由输入和两个数字累积建模(DBL)单元组成。其中,DBL单元是Yolo v3的基本组成单元,它包含卷积,批归一化(BN)和Leaky relu激活功能。因为在Darknet-53网络中增加了剩余单元,解决了梯度消失的问题,并在加深网络的基础上提高了特征的重用性。另外,在整个v3网络中没有池化层和完全连接层,因此在正向传播过程中,张量的大小更改是通过更改卷积内核的步长来实现的。当步长设置为2时,每次经过卷积层后,图像的大小将变为原始图像的一半,并且该区域将变为原始图像的四分之一。
图4. Yolo v3网络结构。
B.多尺度检测
Yolo v3借鉴了FPN(特征金字塔网络)的思想来检测小型目标,并通过多尺度预测来实现对不同大小目标的检测。Yolo v3网络的最终输出是原始图像的1/32、1/16和1/8特征图。主要实现过程是在第79层后面经过多次卷积处理后获得1/32(13×13)特征图,该特征图具有较大的接收场,适合于大规模目标检测。
然后对结果进行上采样并与第61层的结果进行级联(张量拼接),然后进行卷积以获得适合中规模目标检测的1/16(26×26)特征图。然后将以上结果进行上采样并与第36层结果进行级联,然后进行卷积以获得1/8(52×52)特征图,该特征图的接收场较小,更适合检测小目标。
如图5所示,当输入图像大小为416×416×3时,Yolo v3输出三个大小不同的特征图,输出特征图分别为y1、y2和y3,它们分别代表13×13、26×26和52×52网格的特征图。在Yolo v3中,每个网格预测3个框,每个框需要(x、y、w、h、置信度)5个参数。在COCO类别中,每个方框需要识别80个类别,因此特征图的深度为255。浅层特征图通过Yolo v3网络叠加到相邻通道,这样一来,网络就可以同时学习深层和浅层特征,该模型具有更细粒度的功能,从而提高了模型对小目标的检测能力。
图5.多尺度预测。
C.目标边界框预测
与Yolo v2一样,Yolo v3也使用K-means(均值聚类方法)来获取图像中目标的先验锚点的大小。因为Yolo v3总共输出三个比例尺特征图,并且存在对应于大、中、小尺寸的三个先验帧,所以有九个尺寸的先验盒。对于COCO数据集,从9个聚类中获得的先验锚如表1所示,不同比例的特征图对应于不同大小的先验锚。
表1.COCO数据集9种优先框
在预测边界框之前,Yolo v3使用Logistic回归对先前锚点周围的区域执行客观评分,以确定该区域是否为目标区域。对于不是最好的目标区域,模型将不会进行预测,只会预测目标存在概率最高的区域。通过此步骤,可以删除不必要的先前锚,并可以减少计算量,并且模型可以更快地运行。
筛选后,Yolo v3使用与Yolo v2相同的直接预测方法,而不是RPN(区域候选网络)中的锚定机制,如图6所示,其中(tx,ty)表示Rolo左上角之间的距离。该点所在的框和目标中心点。Sigmoid函数用于标准化,而不是原始的softmax回归方法,因为softmax方法会增加最可能类别的概率并抑制其他类别的值,因此不适合多标签分类。乙状结肠功能比其他方法更准确。(Cx,Cy)表示该点所在的网格与左上角的网格之间的晶格数之差。(Pw,Ph)表示先前锚点的宽度和高度。
图6.边界框预测机制。
从公式(1)可以看出,边界框的宽度,高度和置信度可以直接通过(tx、ty、tw、th、to)来计算。
D.损失函数
Yolo v3中的损失函数具有三个主要部分,目标置信度损失函数Lconf(o,c),目标分类损失函数Lcla(O,C)和目标定位损失函数Lloc(l,g),如图所示 公式(2)如图所示。
目标定位损失包括预测帧宽度和高度(w,h)损失函数以及中心点(x,y)损失函数。前者使用误差平方和方法来计算损失函数,后者使用二进制交叉熵方法来计算损失函数。计算的目的是为了能够应付更复杂的情况,例如同一目标可能被分为多个类别。目标置信度损失函数和目标分类损失函数也使用此方法。
第四节.改进的Yolo v3
圆形电连接器上存在的细小缺陷是本文的研究对象,小目标的检测是主要的检查任务。 Yolo v3中的9个大小先验锚是通过基于COCO数据集的K-均值聚类分析获得的,但显然不适合该主题的研究对象。另一方面,尽管将多尺度预测方法添加到Yolo v3网络中以优化对小目标的检测,但是效果不如预期的好。因此,本文对Yolo v3的改进主要在聚类方法和网络结构修改方面。
A.锚箱聚类分析
Yolo v3使用Faseter R-CNN中的锚点框机制。锚定框是一组具有固定宽度和高度的先验候选框,其大小和比例将直接影响目标检测中网络模型的准确性和速度。在Yolo v3中,K均值聚类用于确定大小和比例。对于COCO数据集,聚簇了9种尺寸的锚框,如表1所示。但是,这9种尺寸不适合本主题的研究对象。通过此数据集聚集的锚框的大小不能满足圆形电连接器的缺陷大小要求。因此,该主题的数据集需要进行K均值聚类分析。聚类数据集时,将平均IOU用作聚类结果的标准。平均IOU值越高,聚类效果越好。公式(3)示出平均IOU的计算方法。
其中T代表实际目标框,即样本; P代表群集的中心,即群集框。IIOU(T,P)表示目标中心框和群集框之间的IOU(交叉比率);k代表群集总数;n代表样本总数nk代表第k个聚类中心的样本数;i代表样品编号;j代表聚类中心的样本数。K代表K均值聚类中的聚类数,它是你最终想要获得的聚类数,你可以自由选择该数。
在本实验中,选择k =1〜20,并且总共使用20个聚类对图像数据集进行聚类分析。聚类结果如图7所示。从聚类结果图中可以看出,随着聚类数量的增加,判断指标Avg IOU 越来越高,增长率也不断降低,并且变化变慢,因此曲线最大斜率之后的点可以视为最佳点。一方面,更少的点可以减少计算量并加快损失函数的收敛速度。另一方面,它也可以消除由可删除候选框引起的错误,并且可以选择数量和大小更符合此主题的锚框。从图6可以看出,最佳点是当聚类数为3,且在此数据集上获得的三个聚类中心的维数分别为(13,20)(18,19)(23,12)时。
图7.聚类分析结果。
B.改进的Yolo v3网络结构
随着Yolo v3网络级别的加深,图像的细节和位置信息将继续减少,而语义信息将继续增强。为了定位目标,需要更详细的信息,因此需要基础网络的更多特征。对于类别检测,需要更多高级语义信息。对于目标检测必须确定目标位置和类别。
因此,使用多尺度融合预测方法来检测Yolo v3原始网络结构中的目标。上采样用于将高层网络与底层网络融合,以获得更多的特征信息以进行定位和分类。Yolo v3使用8倍的降采样特征图来预测小目标,但是当检测目标小于8×8像素时将有缺点,并且本文中要检测的缺陷非常小,这导致检测困难。
为了解决这个问题,本文提出使用上层网络信息,即原始网络中的2倍下采样特征图进行检测,它包含更多的细节和位置信息,更加准确。用于识别本文中的小目标。
为了获得更多高级特征并提高目标分类的准确性,将从Yolo v3网络输出的8倍降采样图上采样4次以获得2倍降采样后的特征图,然后再将特征图和从网络中第二残差块输出的2倍下采样图被缝合在一起,从而获得2倍下采样的目标检测特征图,如图8所示。
图8.改进的Yolo v3网络结构。
为了更好地识别此主题中的小缺陷r,要将两个残差单元添加到原始残差块输出中。如图9所示,在Yolo v3的输出层之前,需要经过6个DBL单元和11×1卷积核卷积单元。在本文中,将其更改为2个DBL单位和2个残差单位,以在一定程度上增强特征的使用并避免梯度消失。 这类似于在主网络中使用残差结构,因此可以获得更多底层细节和位置信息。
图9.残余结构
如上所述,Yolo v3网络中使用的多尺度预测方法用于检测大型、中型和小型目标。大、中、小三个等级分别对应三种不同的锚框大小,如表1所示。但是,此对象的缺陷目标属于小目标,因此不需要三个等级,而只需2倍。降采样的融合特征图被用作目标检测层,其中融合特征图选择融合由接下来的两个残差块输出的特征图,并且不添加4倍的降采样的特征图。一方面,它简化了网络,减少了计算量,提高了检测速度。另一方面,该部分对于识别小目标是多余的,几乎没有实际效果。本文提出的单尺度预测方法一方面提高了小目标模型的召回率,另一方面提高了模型的检测精度,更适合于电连接器的缺陷检测。此方法也适用于确定目标大小的缺陷检测。
第五节.基于改进的Yolo v3模型的圆形电连接器缺陷检测实验
A.实验数据集和实验条件
与传统的目标检测不同,深度学习中的数据集起着至关重要的作用,甚至在很大程度上决定了模型的质量。由于没有可用于圆形电连接器缺陷的公共数据集,因此本文制作了50000张图片的数据集。
实验装置如图10所示,通过该装置可以获得原始图像。为了增强网络模型的鲁棒性,有必要在不同情况下获得尽可能多的电连接器映像。首先确保将工件放置在相同的位置,并且仅通过更改光强度来获取图像的一部分。其次,旋转工件以获得不同角度的图像,然后通过改变每个不同角度的光强度获得一部分图像。然后水平移动工件以在透镜的不同位置获得工件的图像,然后重复改变照明并旋转工件以获得更多不同的图像。
图10.实验装置。
50000个数据集主要分为三类,包括20000张单独的接地线标签图像,20000张单独的焊点标签图像以及10000张接地线和焊点的混合标签。在本文中,labelImg是标记数据集的工具。在使用标签时,你只需要框住目标点并自定义其类别。将自动生成网络可以识别的xml文件,其中包含一些位置信息和类别信息。labelImg操作界面如图11所示。
图11. Labelimg界面。
本文进行目标检测实验的条件是:操作系统Windows10、CPU i5-8300H、GPU 1050ti、内存16GB、深度学习框架tensorflow。
B.改进的Yolo v3网络培训
对改进的Yolo v3网络进行训练时,训练集与验证集的比率为9:1,并且初始化了网络的主要参数。学习率(学习率)设置为0.0005,迭代次数(历元)设置为110,批量大小设置为2,权重衰减设置为0.0005。改进的Yolo v3在网络训练中获得的损失(损失)值如图12所示。可以看出,在所有样本进行100次迭代后,损耗已接近0.09。从损失值的收敛性可以看出,网络训练的结果是比较理想的,可以作为合格的网络模型进行测试。
图12.改进的Yolo v3损耗值曲线。
第六节.圆形电连接器缺陷检测网络的测试
A.单一缺陷检测实验
查全率R和准确率P是判断目标检测网络领域中网络模型检测质量的最基本指标。召回率R和准确率P可以通过公式(4)和(5)来计算。
其中,NTP表示网络正确检测到的目标数量;NFN表示网络未检测到的目标数量;NFP代表网络错误检测到的目标数量。
总共测试了5000张图像,包括总共6000个焊点缺陷和6000个包括接地线的缺陷。训练有素的网络模型用于测试数据集以获得召回率R和准确率P。结果示于表2。
从表2可以看出,改进的Yolo v3在两种类型缺陷的识别上具有相应的改进。焊点缺陷的缺陷召回率从85.7%增加到92.8%,地线的召回率从88.6%增加到94.8%,内外环的目标召回率从91.1%增加到99.5%,焊点缺陷的准确率从85.3%提高到92.2%,接地缺陷的准确率从88.3%增加到93.8%。内环和外环的目标准确率从90.1%提高到98.5%,表明本文的改进算法显著提高了三个缺陷的查全率和准确率。
表2:Yolo v3和改进的Yolo v3之间的单个缺陷检测结果的比较
在目标检测领域中引入了平均准确度(AP)的概念,以便更好地表征模型的准确度。平均准确率根据查全率和准确率来评估网络的准确性,适用于单一类型的检测评估,其量化方法是计算精确查全曲线下的面积。通常,AP值越高,模型的分类效果越好。AP的计算方法称为11点法。首先,将数据集中的最大11个准确率值从高到低排序,并计算相应的召回率和准确率,然后召回率R = {0,0.1,0.2,0.3,0.4,0.5,0.6 ,0.7、0.8、0.9、1.0},共选择11个点以绘制PR曲线。通过公式(6)计算AP,其中x代表当前召回率下11个最大预测值之一。
将数据集中的单一类型缺陷数据放入Yolo v3网络和改进的Yolo v3网络后,计算相应的平均准确度后的结果如表3所示。可以看出,与原始Yolo v3相比改进的Yolo v3网络在不同程度上提高了缺陷1和2的平均检测精度,焊点缺陷检测的AP值从85.6%提高到92.5%。 接地缺陷检测AP值从88.4%增加到94.5%。 通过图13中不同的网络检测结果,可以看到更直观的检测效果改善。
表3:Yolo v3和改进的Yolo v3相对旋转检测效果的比较
图13. Yolo v3网络与改进的Yolo v3网络缺陷检测结果的比较。
其中,图12(a)是原始Yolo v3网络的识别结果,图12(b)是本文改进的网络识别结果。比较图(a)和(b)表明,原始的Yolo v3网络在焊点缺陷检测中存在错误和漏检。红色框代表网络检测到的位置,黄色框代表错误检测或错过检测的位置,绿色框代表正确帧的位置。综上所述,本文的改进算法在一定程度上减少了误检测和漏检的情况。
内圈和外圈旋转缺陷的检测与其他两种缺陷检测不同。提出了一种创新的工件内部相对旋转检测方法。分别建立电连接器内外圈的检测模型。检测出内,外圈模板后,计算出两个零件的中心轴角度,并根据两个中心轴的角度计算出角度差,从而完成了对内圈相对旋转的检测。和外圈。不仅需要目标检测的精度,而且还需要检测到的角度差和实际角度差的精度。图14(a)是Yolo v3的原始网络检测结果,图14(b)是改进的Yolo v3检测结果。可以看出,原始网络检测结果图的检测结果中红色框中的区域为内环区域,中心轴方向应与内环区域的数字方向相同,但Yolo v3网络检测到的中心轴方向与内圈的中心轴相反。本文改进的Yolo v3检测到的内圈区域显示在图14(b)的蓝色框中,方向与实际中心轴相同,外圈区域的中心轴显示在图14(b)中。图(b)中的紫色框与实际情况相符。实际的检测过程如图15所示。QT5编写的人机交互界面可以准确识别当前的电连接器型号和内外圈的相对旋转角度,并根据旋转角度判断产品是否合格。
图14.比较Yolo v3网络和改进的Yolo v3网络的内部和外部环路的检测结果。
图15.用于内外循环检测的人机交互界面。
为了测试这种检测不同类型电连接器的内,外环缺陷的方法的准确性,选择了8种类型的电连接器。合格产品和不合格产品分为16个类别,每个类别的100个工件都经过测试。测试结果如表3所示。可以看出,与原始网络相比,本文改进的Yolo v3检测误差保持在0.2°左右,最大检测误差仅为0.4°,检测效果为更好的是接近实际偏差角。通过电连接器的插座和插头测试,当电连接器的内圈和外圈的相对旋转角度小于4°时,仍可以正常使用电连接器。因此,本文的检测方法可以满足工业领域电连接器的检测精度。
混合缺陷检测实验
判断目标检测模型的质量不仅是判断单一类型目标的检测效果。本文分别使用原始的Yolo v3网络,改进的Yolo v3网络检测混合缺陷1、2目标。由于内圈和外圈旋转角度检测的特殊性,缺陷3检测未添加到实验中。本文采用自制数据集,评价标准以平均准确率(mAP)为特征。mAP值越高,检测效果越好,网络对各种类型目标的检测综合性能越强。 mAP计算公式如公式(7)所示
在公式中,AP表示平均准确率,N表示检测到的目标类型的数量,mAP是不同类型的AP的平均值,测试结果列于表4。可以看出,改进的Yolo v3网络将mAP从86.9%提高到93.5%,错误检测率从8.3%降低到3.9%,漏检率从4.8%降低到2.6%。
本文改进的网络在数据级别上具有更好的性能。选择本文中的实际缺陷进行检测和比较,以更好地检查缺陷检测的效果。
表4:Yolo v3和改进的Yolo v3网络mAP的比较
从图16中,我们可以看到两个网络在实际检测过程中的结果。图16(a)是原始Yolo v3网络的检测结果,图16(b)是通过本文的改进算法获得的结果图。
图16.比较Yolo v3网络和改进的Yolo v3网络缺陷检测结果。
比较图16(a)和(b),我们可以看到原始的Yolo v3网络进行了一些错误的检测,并且某些光点被错误地识别为焊点,而经过改进的Yolo v3网络可以准确地识别焊料并在一定程度上减少了误检的发生。此外可以看出,Yolo v3网络尚未识别出所有接地线,这导致了漏检。本文提出的改进算法能够准确识别出所有缺陷,这表明本文提出的改进算法在检测单类型缺陷或多类型缺陷方面比原始的Yolo v3网络更加准确。
C.不同目标检测模型的比较
由于圆形电连接器的缺陷是本文的识别目标,因此网络模型的准确性和实时性能对于本文的识别任务最为重要。准确率可以通过mAP来表征,实时性能可以通过检测时间来判断。本文使用相同的数据集,本文使用Faster R-CNN,SSD,Yolo v3和改进的Yolo v3网络进行检测,结果示于表5。
表5:不同算法的缺陷检测结果表
从表5中可以看出,Yolo v3的mAP得分最高,达到93.5%,其次是Faster R-CNN,达到91.2%,表明本文改进的网络具有更好的检测性能,比其他网络更快。从mAP和检查时间的角度来看,本文改进算法的性能更加均衡,可以在保证准确性的同时,加快检查速度,更好地服务于电连接器缺陷检查任务。
第七节.结论
本文的改进算法主要基于Yolo v3网络,其主要改进点是锚框的选择,自制数据集的聚类分析以及适用于本文的候选框的数量和大小的计算。候选框对于不同的检测任务非常重要。
另外,重建骨干网络结构,将网络中的2倍降采样特征图与深层网络的输出特征图进行拼接合并,得到2倍降采样的融合特征图。为了更好地识别小缺陷目标,将2个残余单元添加到最终的残余块输出中,这对检测小缺陷有更好的效果。
由于本文的检测目标是检测圆形电连接器的缺陷,因此该方法较小,因此使用单比例预测来代替原始网络中使用的三个比例的大、中、小比例预测,并且在目标之前放置6个DBL单元检测层更改为2个DBL单元和2个残差单元,以满足网络模型的实时要求并更好地支持小缺陷识别;此外,提出了一种新颖的电连接器内外圈相对旋转中的缺陷检测方法,该方法可以准确识别多种类型的电连接器,对本文所述的三种类型的缺陷具有良好的检测效果。
通过实验可以看出,与不同的目标检测算法相比,本文改进的Yolo v3网络具有更加均衡的性能。与改进的Yolo v3网络相比,本文缺陷的召回率、准确率和mAP均有一定程度的提高。在最初的Yolo v3网络中,在确保准确性的情况下也提高了识别速度,基本上满足了工业领域对圆形电连接器的准确性和实时检测的要求。
所有这些说明该算法具有一定的实际意义,可为工业领域小目标缺陷的识别提供参考。通过对不同数据集进行聚类分析,本文改进的网络将获得更理想的检测结果。本文改进的Yolo v3获得了比Faster R-CNN更高的mAP,其检测速度不到Faster R-CNN的1%。与其他型号相比,Yolo V3取得了很大进步,但是网络检测性能仍有很大提升空间,下一个主要研究方向是继续提高准确性和速度。
暂无评论