GMS特征匹配与图像差分融合的连接器多余物检测方法

赵双, 王鹏, 王月, 杨定坤, 银兴行

PDF(4598 KB)
欢迎访问制造业自动化官方网站!
PDF(4598 KB)
制造业自动化 ›› 2024, Vol. 46 ›› Issue (10) : 1-6. DOI: 10.3969/j.issn.1009-0134.2024.10.001
检测与监控

GMS特征匹配与图像差分融合的连接器多余物检测方法

作者信息 +

The Redundancy Detection of Connector Using the Combination of GMS Feature Matching and Image Difference

Author information +
History +

摘要

在航空航天设备中连接器被广泛地应用,但其装配质量因多余物的存在导致装备服役性能下降。针对目前连接器多余物的检测主要依靠人工,效率低、误检率高、成本高的问题,研究中利用机器视觉的优点,设计了Grid-Based Motion Statistics (GMS)特征匹配与图像差分融合的连接器多余物检测软硬件系统。首先,提取连接器图像ORB特征描述符,通过GMS匹配算法实现检测图像与其对比图像的特征匹配;其次,以两图像的特征点集计算单应性矩阵,并通过透视变换对齐检测图像;再次,将对齐的图像做图像差分,并通过高斯模糊、形态学操作、轮廓查找等实现多余物检测。实验表明,与传统直接做图像差分检测多余物的方法相比,检测精度大幅提升;研究中以采集的147张图像做检测,精度为98.64%。

关键词

图像差分 ; 多余物检测 ; 连接器 ; 基于网格的运动统计 ; 机器视觉

基金

国家重点研发计划(2020YFB1710300)
重庆市自然科学基金面上项目(cstc2019jcyj-msxmX0530)

引用本文

导出引用
赵双 , 王鹏 , 王月 , 杨定坤 , 银兴行. GMS特征匹配与图像差分融合的连接器多余物检测方法[J].制造业自动化, 2024, 46(10): 1-6. https://doi.org/10.3969/j.issn.1009-0134.2024.10.001
ZHAO Shuang , WANG Peng , WANG Yue , YANG Ding-kun , YIN Xing-hang. The Redundancy Detection of Connector Using the Combination of GMS Feature Matching and Image Difference[J]. Manufacturing Automation, 2024, 46(10): 1-6. https://doi.org/10.3969/j.issn.1009-0134.2024.10.001

0 引言

航空航天产品装备工艺复杂,很多零部件都属于单件或少批量生产,制造过程和装配质量要求很苛刻1。而航空航天装备因装配工艺复杂、诸多环节需要手工装配、工序繁杂,导致工人操作过程中容易将多余物如金属屑、导线段、垫片、银泥、松香、小螺母螺栓、纤维丝等封装在连接器中,造成电子装备短路、插装歪斜、装配失败甚至永久性结构破坏,严重影响装备的服役性能2-4。相关研究表明因零部件的多余物导致的故障有很明显的突发性和随机性,所以电子装备运行和测试故障在事前很难察觉,事后又很不易确认。然而,因多余物存在引起的航空航天产品(运载火箭、导弹、航空器等)运行事故时有发生,造成不可估量的损失5。通过调研发现,一方面电子装备上常用连接器的种类繁多,使用连接器主箱体装配工艺多插装过程中的多余物很难从完全清除2;另一方面,目前连接器中多余物检测主要依靠人工检查,效率低误检率高成本高;所以,如何利用机器视觉优点实现连接器多余物的高效检测是一种极具挑战性也很大实际工程意义的研究。
钱鑫等3全面综述了通过颗粒碰撞噪声检测(Particle Impact Noise Detection,PIND)法检测电子器件、继电器、连接器等电子装备中多余物颗粒研究的国内外现状、进展以及PIND技术原理的方法。与此研究相类似,邓威威也研究了PIND检测多余物方法,采用集合经验模态分解和多分类相关向量机的异物检测系统,对小钢珠、橡胶粒和扎带等五种多余物识别精度能达到89.2%。严明等6针对航空航天装备中导物检测采用PIND技术噪声滤波问题,提出一了种采用归一化最小均方适应滤波的方法,并通过模拟仿真验证了方法的适用性。刘海江等7针对在噪声环境中不能有效识别多余物信号从而排查干扰的问题,研究了谱减去噪、脉冲发生序列分析检测异物的方法,实验表明,所提方法能有效提高航空航天装备中多余物的检测精度,其精度可达96%。上述方法都采用PIND原理设计和检测设备中的多余物,检测过程复杂效率较低。
近年来,基于机器视觉的检测技术逐渐应用于航空航天装备中多余物的检测。陈慧8总结了深度学习视觉目标检测的挑战即样本采集条件、物体类别差异、语义理解差异等,针对利用深度神经网络算法在目标视觉检测领域的研究从检测流程、公共数据集、目标视觉检测进展、深度学习视觉目标检测的思考与展望四个方面做了全面详实的综述。张悦等1针对航天产品的多余物视觉检测技术从多余物视觉检测方法的现状趋势、检测方法的总结分析及研究难点、基于传统方法和机器视觉的检测技术方案、相关研究的总结与展望四个方面系统的梳理了航天产品多余物检测研究。针对复杂背景中产品中多余物的检测难以定位的问题,陈静4通过图像分割、特征提取和选择、识别与配准定位,实现感兴趣区域和多余物定位检测,通过300张采集图像测试其检测精度为85%。此外,机器视觉检测被广泛应用在工业机器人分拣9、手工插装工序检测10、以及结合深度学习的洗车外观检测11、表面缺陷12-13等领域。综上,机器视觉广泛应用于舱体、电子器件、元件等中多余物检测,但航天航空设备的连接器中多余物检测研究相对较少,没有高效高精度的检测方法。
综上所述,因为PIND技术具有非破坏性与效率高的特性,设备中多余物的检测大多采用PIND方法。但设备内部多余物往往体积和重量都比较小,导致该研究中的脉冲信息很难从环境噪声中过滤,所以相关研究只能检测特定的多余物检测。与此同时,基于机器视觉的检测对设备无破坏和接触、适应性广、检测系统可扩展性强、效率高等优点,因此相关研究逐渐增多。然而,相关研究4714和企业调研表明:一方面连接器中多余物的检测依靠人工检测,效率低误检率高;另一方面因其视觉检测的诸多优点,企业对其有强烈需求;此外,通过调研发现连接器中多余物形态各异、体积较小、所处位置随机不固定、连接器背景复杂多变,而且因连接器单件小批量决定了获取大量深度学习样本难度较大。基于此,本研究中提出了基于GMS特征匹配与图像差的连接器多余物检测方法,实验表明论方法能显著提高检测效率和检测精度。

1 多余物检测之图像差分

图像差分通过计算两图像对应的像素之差将两图中像素不同的区域显现出来,其算法原理可表示为:
Diff(x, y) =i,if Image(x, y)-Imageredundancy(x, y)>Ψ0,Others0i255
(1)
式中:Diffxy)为两图差分结果图像,Imagexy)为无多余物连接器图像,Image redundancyxy) 连接器中有多余物的图像,i为对应两图像坐标灰度值差 0i255xy的取值范围为:  0xwImage-1, 0yhImage-1 Ψ为算法设定阈值。
以某一型号连接器为例,说明研究中多余物检测算法的原理。连接中存在常见多余物如金属屑的样本如图1所示,图1(a)为无多余物连接器图片,图1(b)为检测系统在控制下机器人运动至与图1(a)视角相同时获取的有多余物连接器图片,其中的多余物金属屑用红色框框选示意。
图1 连接器有无多余物情况

Full size|PPT slide

当采用两张相同的图像做图像差分运算时得到图2(a)所示,系统在同一视角下采集的有无多余物两张图像做差分运算时得到图2(b)所示。因此,以图像差分原理为基础,考虑工程实际情况,前后两张图像因机器人重复定位存在偏差、工业相机抖动、光照变化等因素,导致直接做图像差分时对连接器多余物检测效果不佳。因此,通过特征匹配对前后两张有无多余物的图像做放射变换后再做图像差分,检测连接器中有无多余物。
图2 图像差分运算结果

Full size|PPT slide

2 基于GMS特征的图像匹配

2.1 GMS特征匹配算法

实验中发现,前后两张有无多余物图像在采集时因外部环境的微小变化如相机抖动、环境光的变化等会影响两图差分的检测效果。因此,采用GMS(Grid-based Motion Statistics)算法先完成图像特征匹配,然后通过计算两图的本质矩阵和放射变换完成两图的对齐,减少两图差分时因环境变化产生的干扰。
GMS特征匹配由BIAN等15提出,其采用网格平滑运动统计领域内的特征,核心思想是正确匹配的邻域内应该有多个特征点也可以正确匹配,即对应邻域内正确匹配的概率很大,相反错误匹配的邻域内支持正确匹配的特征会没有或非常少,根据贝叶斯法则对应邻域内正确匹配的概率很小。假设无异物图像和有异物的图像为 { ImageImage redundancy },其对应的图像中的特征为 { G, R }F = { f 1f 2,…, f i, …, f N }表示无异物图像Image到有异物图像Image redundancy的最近邻匹配,其中f i = { Image iImage redundancy-i }表示图像Image iImage redundancy-i像素点之间的匹配,定义f i的领域为:
Ki={fj|fjF,fjfi,d(fi,fj)}
(2)
根据式(2)可知 fi的匹配领域,即:
Wi={fj|fjNi,d(fi,fj)<r}
(3)
式中,Wi 为匹配特征个数,d(·,·)两点之间的欧式距离,r为距离阈值。

2.2 提取ORB特征点

图像特征点提取与描述时常采用SIFT、SURF、FREAK等特征描述子,然而这些特征描述子往往会提取大量密集或相似特征,使得图像特征匹配中有大量错误匹配。虽然,这种情况可采用随机采用一致性算法(Random Sample Consensus,RANSAC)以多次迭代剔除误匹配特征点,但如果误匹配特征点较多时算法迭代运算会变慢,而且会将匹配正确的特征点筛除,影响图像特征匹配效果。
根据小节2.1的描述可知,GMS算法不仅可以提高特征点匹配的正确率而且可以有效减小运行量、提升算法性能和鲁棒性。GMS与RANSAC算法相比,GMS匹配速度更快而且对光照、抖动、曝光度的变化更鲁棒。GMS实现图像正确匹配的前提是在图像中能提取稳定数量的显著特征点,与常用的SIFT、SURF、FREAK等描述子相比,ORB结合了FAST和BRIEF的特点,具有高效、抗噪、旋转和尺度不变等诸多优点。实验中测试的三种描述子即ORB、SIFT、FREAK的提取的显示如图3所示。
图3 图像特征描述子提取与示意

Full size|PPT slide

2.3 GMS误匹配剔除与图像对齐

通过在图像中提取ORB描述子,然后对采用GMS算法完成图像的特征匹配,并将误匹配点剔除。有多余物Image和无多余物Image redundancy的图像分别有两个区域th图4所示,假如对应区域正确匹配的概率为eh区域中有一个错误匹配点,其仍然在图像区域t的概率为:
pi=p(fhi)p(fht|fhi)=Φ(1-e)λ/μ
(4)
式中, fhi为特征点的错误匹配; fht为特征点从图像区域h落在区域t中; μ为图像中检测到的所有ORB特征点数量; Φ为计算附加因子,其值的大小由图像的特征结构重复度决定。
图4 GMS特征匹配与误匹配剔除

Full size|PPT slide

由GMS算法原理和Wi 的分布可知,图像匹配时正确与错误匹配点的领域内支撑点分布不一样,为了运算时快速剔除错误的匹配点集,通过Wi 的均值与方差设置一个评估值为:
η=μe-μiwe+wi=Mnpe-KnpiKnpe(1-pe)+Knpi(1-pi)
(5)
式中, MnP成正比,匹配中对图像划分网格分别对其计算匹配度。所以,其对应图像区域中网格是否正确匹配的计算公式为:
Wij>σi=ξNi
(6)
式中 Wij为图像划分网格后与其相邻的网格领域特征匹配点总数, ξ为常数因子, Ni n×n网格区域中ORB特征点的总数。通过GMS算法特征匹配的结果如图5所示。
图5 GMS特征匹配效果

Full size|PPT slide

得到有多余物和无多余物两张图像之间正确的特征匹配点后,采用Opencv中的findHomography函数以RANSAC方法计算最优单应矩阵 H。然后,通过透视变换warpPerspective函数得到对齐的图像。

3 实验验证与讨论分析

3.1 系统的软硬件组成

硬件设备主要有魔客仕工业相机一个;惠普ZBook Studio G9笔记本一台CPU为英特尔酷睿 i7-12700H、32 GBRAM、显卡型号为NVIDIA® GeForce® GTX2070,电子装备快速定位工装一个,相机光源一个,库卡KR 6 R900-2 六轴机器人其最大工作半径901 mm、最大有效载荷6.5 kg、重复定位精度±0.02 mm,以上硬件构成的检测系统架构示意如图6所示。原型系统的实现基于Windows 10操作系统、PyCharm Community Edition 2023.1.1 x64, Opencv4.6.0。
图6 系统硬件结构示意

Full size|PPT slide

检测的算法流程如图7所示,主要步骤为:
图7 检测算法流程图

Full size|PPT slide

步骤1:工业相机标定。
步骤2:确定检测区域,需要提前保存一张没有多余物连接器图像,用于两图做差分运算对比。如果同一类型连接器是第一次检测,则需要机器人示教,记录检测位置,如图8所示。示教过程通过示教器的操作(图8)控制机器人先做离线仿行,手动调整运动实现机器人未端的相机和光源到达合适的距离,并记录机器人相应的位置坐标,依次完成有连接器机箱检测面的所有位置标定并记录位置坐标。在示教模式下,根据检查机器人前进或者后退依序运行到记录的步骤,并确认记录的位置、姿势。最后,修正示教程序,即检查程序需要优化的位置,变更记录点,追加或者删除机器人运行轨迹关键步骤。示教之后,后续相同类型的产品即可实现自动化检测。
图8 机器人示教过程示意

Full size|PPT slide

步骤3:ORB特征点提取,基于GMS算法的图像特征匹配,其中上小节中有详细描述,故在此不做赘述。
步骤4:计算无多余物图像与当前采集图像之间的单应性矩阵,在此基础上对两者做图像透视变换。
步骤5:对图像做差分运算,然后对差分结果图像做高斯模糊、形态学操作、图像取反、二值化、轮廓检测等,并用椭圆标示检测结果。

3.2 系统评估与数据分析

目前在研究中共采集不同类型连接器图像147张,通过提出的算法能正确检测出145张,其检测精度为98.64%,检测结果对多余物用椭圆标注如图9所示。传统只做差分运算的检测方法检测精度为60.37%,其误检测率为39.63%。通过实验对比分析,这是因为图像在前后两次采集时,会因光照变化、机械臂的抖动、检测环境的变化影响,两张图会有多个像素位置偏差,导致误检率偏高。
图9 连接器多余物检测结果示意

Full size|PPT slide

表1 检测结果对比
检测方法 误检率 精度 检出率
本文方法 1.36% 98.64% 100%
传统差分 39.63% 60.37% 100%
此外,研究中提出了一套与检测算法相配套的硬件设计方法,只需对同一类型连接器第一次检测时采用机器人示教并记录检测位置和检测区域,后续相同类型产品即可实现自动化检测。

4 结论

针对航空航天设备中连接器人工检测效率低、成本高、误检率高,严重影响连接器装配质量的问题,根据企业连接器装配中多余物检测自动高效的需求,利用机器视觉检测无破坏、适应性广、方法可扩展性强的优点,设计了机器视觉检测硬件系统。采用图像差分的原理,结合GMS算法的优点,以ORB检测图像的特征,并计算两图像的单应性矩阵和透视变化;然后,通过图像形态学操作腐蚀和膨胀、高斯模糊、轮廓检测、椭圆拟合;最后,标示出多余物位置。实验表明,研究中所提方法能高效、准确、自动的检测连接器多余物。
研究不足有两方面:其一,每个新类型的连接器产品检测前需要对其检测位置的区域进行人工标定和机器人示教;其二,因为检测连接器产品可采集图像的类型和数量有限,所以在检测时仍然采用传统的机器视觉方法实现多余物检测。在后续的研究中,将通过与企业沟通在不断采集连接器检测图像,研究深度学习16的方法检测连接器多余物17,如最新的Yolov8算法通过训练实现多余物的图像分割检测,从而提高算法的鲁棒性。

参考文献

1
张慧, 王坤峰, 王飞跃. 深度学习在目标视觉检测中的应用进展与展望 [J]. 自动化学报201743(8): 1289-1305.
2
陈蕊. 航天电子装置多余物检测与材质识别方法研究 [D]. 哈尔滨: 哈尔滨工业大学, 2014.
3
钱鑫, 王国涛, 王淑娟. 密封电子元件及设备多余物的PIND方法研究进展 [J]. 航天制造技术2016(6):1-5.
4
陈静. 复杂背景下器件多余物成像检测的若干关键技术研究 [D]. 武汉: 华中科技大学, 2010.
5
邓威威. 基于颗粒碰撞噪声检测法的舱体多余物检测 [D]. 大连: 大连理工大学, 2021.
6
严明, 胡隽, 周晓娜, 等. 航天产品多余物自动检测信号提取方法 [J]. 空间控制技术与应用202248(1):32-37.
7
刘海江, 刘劲松, 魏臣隽. 高精密航天器多余物检测算法研究 [J]. 同济大学学报(自然科学版)202048(5):716-724.
8
张慧, 王坤峰, 王飞跃. 深度学习在目标视觉检测中的应用进展与展望 [J]. 自动化学报201743(8):1289-1305.
9
赵丽君, 李冰冰, 计妍, 等. 基于视觉检测的工业机器人快速分拣控制方法 [J]. 制造业自动化202143(10):86-90.
10
周晓, 谢明明, 田方斌, 等. 视觉检测在电装行业手工插装工序的应用 [J]. 制造业自动化201638(8):55-58.
11
董长青, 刘永贤, 赵甲, 等. 基于深度学习算法的车辆视觉检测方法的研究 [J]. 制造业自动化201941(3):113-116.
12
杜柳青, 余永维. 磁瓦表面缺陷机器视觉检测与识别方法 [J]. 图学学报201435(4):590-594.
13
王荣扬, 陆波, 左希庆. FPGA图像处理在带钢表面缺陷视觉检测中的应用 [J]. 制造业自动化201436(6):42-45.
14
刘会凯, 孙胜利, 张悦, 等. 基于机器视觉技术的多余物控制方法综述 [J]. 航空精密制造技术201955(1):15-18.
15
BIAN J LIN W LIU Y, et al. GMS: Grid-Based Motion Statistics for Fast, Ultra-robust Feature Correspondence [J]. International Journal of Computer Vision2020128(6):1580-1593.
16
CAO J CHEN Q GUO J, et al. Attention-guided Context Feature Pyramid Network for Object Detection [J]. arXiv2020.
17
花诗燕,李大伟,贾书一,等 .基于卷积-反残差和组合注意力机制的航天器多余物检测 [J/OL].计算机集成制造系统.
PDF(4598 KB)

154

Accesses

0

Citation

Detail

段落导航
相关文章

/