您好,欢迎来到河南华体会hth体育仪器设备有限公司!
全国咨询热线0371-53370142
河南华体会hth体育仪器设备有限公司

行业新闻

NEWS
前沿爆文|基于机器视觉的焊缝识别研究现状与
发布时间:2022-08-26浏览次数:68

  被广泛用于工业测量、工业检测和识别等领域机器视觉技术以其高精度、高自动化等特点。缝识别传感技术概括了几种焊,原理和特点进行了分析并对传感方式的基本。的焊缝识别的具体实现步骤详细阐述了基于机器视觉,波和消除方法、焊缝的特征提取与中心线拟合方法等重点归纳总结了针对不同的噪声和干扰采用相应的滤。别研究的基础上在国内外焊缝识,价值的研究方向提出了几个有,别、针对焊后质量检测的三维信息重构和多种干扰因素并存情况下的焊缝识别等包括基于新型测距法及其传感器的焊缝定位、基于卷积神经网络的焊缝类型识。

  制造业中在现代,中国制造2025”规划提出后尤其是中国版“工业4.0”“,能满足智能制造的自动化、高精度焊接的要求[1]传统的“手动示教-记忆再现”的焊接模式早已不。化焊接过程中尤其在非结构,造成理论焊接路径和实际路径出现较大的偏差受热变形、装配误差和外力等多种因素都会,是实现高精度焊接的关键提高焊缝识别的准确性则。

  感技术来采集声、磁、光等物理信号常见的焊缝识别方式主要是利用传,时处理来实现焊缝识别通过对这些信息的及,分类如图1所示焊缝识别技术。物理信号的不同根据采集与处理,:(1)基于超声反射时间的识别可将焊缝识别方式分为以下几种。反射声学原理利用声音的,反射的时间差采集超声波,形状、深度、宽度等信息经分析处理后得到焊缝。偏转光线信息的识别(2)基于磁场中。和法拉第磁光效应等原理利用铁磁体材料漏磁现象,缝磁场分布并结合焊,磁光图像得到焊缝,缝有极好的识别效果此方法对紧密对接焊。信息的识别[2](3)基于熔池。获焊缝熔池的图像使用红外传感器捕,像的灰度值梯度数据用作焊接中心偏差的检测特征值将热堆积效应参数、熔池匙孔的形变系数和熔池热图,焊缝偏差进行分析通过对特征值和,关系从而得到焊缝位置获得它们之间的定量。外摄像头拍摄熔池红外图像王文超等[3]提出使用红,相关参数并提取,与焊缝偏差之间的关系获取焊缝位置通过分析焊缝中心偏差检测特征值。弧光和熔池温度变化的干扰但红外传感技术常常会受到,产生一定的影响从而对上述参数。

  特征的传感技术外除了上述识别物理,可以采用接触式传感技术对于对接直线型焊缝还,与工件始终接触实现对焊接点的识别通过导向轮、导杆等使焊接机器人。单、成本低廉等优势该方法具有结构简,强的抗干扰能力此外还具有较。

  年来近,技术逐渐走进了人们的视野基于机器视觉的焊缝识别。模拟人类的视觉功能机器视觉即用机器,的发展中在数十年,理、图像分割等完备的理论体系逐渐形成了图像采集、图像预处。件不接触和获取焊缝信息丰富等特点因其具有稳定性好、灵敏度高、与工,了广泛的应用[4]在焊缝识别中得到。识别研究现状进行分析阐述本文对基于机器视觉的焊缝,来的研究方向并预测了未,一定的参考意义对相关研究具有。

  的颜色、形状、大小等信息上的优越性机器视觉技术凭借其在识别测量目标,中得到了广泛应用逐渐在工业生产,像头采集目标图像其基本原理为:摄,像预处理系统将其传送至图,的形态信息获得目标,并判断结果[1]最后提取目标特征。传感技术相比其他,获得更丰富的焊缝信息机器视觉传感技术能够,敏度高、抗干扰能力强并且其精度与视觉灵,应用的一种焊缝识别技术因此是当前被广泛研究与。光源分为被动光视觉技术和主动光视觉技术两类[5]用于焊缝识别的机器视觉传感技术根据是否采用辅助。

  然光或弧光照射到工件外表面被动光视觉技术是直接利用自,像来实现焊缝图像的获取用摄像头直接拍摄焊缝图。理示意如图2所示被动光视觉系统原。

  动光视觉相较于主,容易获取焊缝全局信息被动光视觉成本较低且。术稳定性相对较差但被动光视觉技,弧光干扰易受到,性较差可操作,遮光片来减少弧光干扰[6]故通常装配特殊的滤光片和。计出一种滤光系统王昕等人[2]设,沿着焊枪方向在工件后方拍摄熔池图像该系统中的摄像头能够以某一角度、,仿射变换后获得清晰的正面熔池图像然后利用一种卷积神经网络模型经,强弧光干扰的影响减弱金属飞溅和。电弧法、同轴视觉检测法和激光频闪摄像法基于熔池形态的焊缝识别可分为直接拍摄。

  和焊缝偏差等信息可以在图像上直观体现由于焊接过程中的焊缝特征、焊缝位置,检测中通常使用被动视觉技术[3]所以在焊缝检测、焊缝跟踪和熔池。

  辅助光源投射到工件表面主动光视觉技术是使用,形状的结构光和其他辅助光针对不同类型焊缝使用不同,头获取焊缝图像然后利用摄像。测量原理[4]其本质是三角,激光扫描法[5]可分为结构光法和。华体会hth体育

  原理如图3所示结构光法的基本,照射到工件表面激光器发射激光,状相吻合的光条纹会形成与焊缝的形。纹的图像并将其传输到微处理器或工业计算机电荷耦合装置(CCD)摄像头获取激光条,像处理分析后处理器进行图,征提取焊缝位置可根据焊缝的特。

  纹形状的不同根据结构光条,构光、单线结构光、多线结构光[7]将结构光划分为十字结构光、环形结。原理是使用光学扫描环形结构光法的基本,镜体由电机驱动旋转由正负透镜组成的,发射激光激光器,上获得环形激光轨迹[6]并通过镜体在待焊工件表面。激光转换成条形结构光照射在焊缝上单线结构光法的基本原理是将一束,在一定的间隙由于焊缝存,会依据焊缝间隙改变自身形状所以条形光照到焊缝表面时,图像传输到微处理器或工业计算机CCD摄像头采集变形的条纹光,焊缝的特征点[8-9]提取焊缝的中心线并确定。构光法相比与单线结,获得大量的图像信息环形结构光法可以,动产生的振动影响但由于受电机转,面的激光光斑强度分布不均环形结构光传感法的焊缝表,定性均有不足且其精度和稳。维重建领域均有广泛应用这两种结构光法在焊缝三。、曲率变化和横向偏差领域占有一席之地[10-11]多线结构光法和十字结构光法则在检测焊缝的高度变化。

  领域有着广泛的应用激光扫描法在焊接,测量原理[12]其主要利用三角。法识别焊缝时采用激光扫描,缝表面可形成光点激光束照射在焊,捕捉光点摄像头,像头的位置固定不变由于激光发射器和摄,光点的位置也不相同不同焊缝形状对应,的高度和位置信息因而能够获取焊缝。够精准识别深、厚焊缝坡口信息文献[13]采用激光扫描法能,跟踪精度提高焊缝。

  视觉各有优缺点主动视觉和被动,表1所示其对比如,生产应用中但在实际,、通用性好、精确度高等突出特点主动光视觉技术具有测量范围大,的应用更为广泛因此在焊接领域。

  识别图像处理技术中基于机器视觉的焊缝,集丰富的图像信息视觉传感器能够采,、磁、热等噪声的影响[14]但是焊缝图像信息会受到电、光,一系列预处理[5]因此需要对图像进行。趣区域(ROI)选取法挑选出图像中存在焊缝的部分有些焊缝识别技术会在图像去噪和二值化前通过感兴,像分割[15]之后不再进行图。化简化图像信息以提高焊缝识别效率目前大多焊缝识别技术首先利用灰度,定滤波方式完成去噪针对不同噪声选用特,用特定方法消除干扰针对不同焊接环境选,强以改善图像质量然后进行图像增,像进行图像识别处理最后对处理完成的图。

  割和特征提取与中心线拟合图像识别处理包括图像分,关键步骤也是目前的研究热点其中图像分割是图像处理的。不同的特征提取与中心线拟合方法不同的图像分割方法需要配合使用,识别[16]最终完成焊缝。

  灰度化、滤波去噪与消除干扰和图像增强等几个步骤图像采集与预处理包括图像采集、ROI区域选取、,、滤除噪声和提升图像质量用于收集图像、简化图像,识别处理的效率以提高后续图像,提取中心线的精度提高特征提取与,如图4所示其思维导图。

  D摄像头、镜头、激光器等硬件的选型焊接图像采集系统设计主要包括CC。缝识别与环境测量的精度摄像头的性能决定了焊;要参数是焦距镜头选型的主,为清晰的图像目的是获取较;要参数是波长大小选择激光器的主,强度下电弧的光谱分布来确定最佳波长可通过分析不同电流。

  焊工件表面的局部图像焊缝识别只需采集待,小焊缝对于细,区域的方法来提取焊缝区域有时会采用直接提取ROI,处理量以加快处理速度既可以减少图像数据的,域噪声干扰的影响又可以避免其他区,的精度[17]提高特征提取。Rect和指定感兴趣行或列的范围[18]定义ROI区域的方法可分为使用矩形区域的。三种常见的焊缝类型的识别针对搭接、对接、T型角,I区域选取的方法进行预处理文献[19]首先采用RO,Hu不变矩作为待分类特征然后在特征提取阶段选取,神经网络算法进行特征训练接着利用反向传播(BP),高的识别率取得了很,取所导致低效率、不全面的问题解决了当前ROI区域手工选。

  为之后的图像处理做准备为了加快图像处理速度并,像进行灰度化处理需对得到的彩色图。、平均法、分量法、加权平均法等常用的灰度处理算法有最大值法。用且最有效的方案加权平均法是最常,的权重进行加权平均来实现图像灰度化将图像的R、G、B三个分量以不同;的最大数值作为转化后的灰度值最大值法是选择R、G、B中;种分量数值进行平分作为灰度平均值法是将R、G、B三;B分量的一个强度值作为灰度值分量法是根据需要选择R、G、。度化的效率为了提高灰,nCV开源库对原图进行灰度处理彭刚等人[20]提出利用Ope,三通道进行加权灰度化然后再对R、G、B。

  光、飞溅等噪声[21]焊接过程中存在烟尘、弧,的概率密度根据不同,爱尔兰噪声、脉冲噪声、泊松噪声和均匀噪声等可以将这些噪声[22-23]分为高斯噪声、。的方法消除这些噪声通常可采用图像滤波,滤波处理算法根据不同的,[24]:(1)线性滤波可将这些滤波去噪方式分为,波[25]和方框滤波等包括均值滤波、高斯滤;线性滤波(2)非,波[27]、卡尔曼滤波[28]包括双边滤波[26]、中值滤。平滑处理图像线性滤波能够,去噪功能有良好的,图像边缘模糊化但由于其会导致,于特征提取因此不利。值来代替图像中的各个像素值其中均值滤波是利用像素均,除高频噪声点可以用于滤,的具体细节[29]但常常会破坏图像。滤波是中值滤波最常用的非线性,线性平滑滤波它是一种非,一点的值用其相邻点的值的中值替换其处理原理是将图像数字矩阵中某,波导致的图像边缘模糊化问题能在去噪的同时解决线性滤,的边缘细节保持图像,效果很好[30]抑制脉冲噪声的。

  些特定干扰图像存在某,水波纹等[14]如弧光、气泡、,设计适当的干扰消除方法因此需要根据干扰特征。光干扰针对弧,减少干扰或选用在电流较低的基值时刻采像的基值采像法[6]可以使用焊接弧光中能量相对较低且噪声较少的波段通过滤光法。的气泡会改变光的传播路径水下焊接环境中不断运动,产生白亮区域从而在图像上,影响图像识别造成气泡干扰,气泡进行捕捉因此需要对。于光流算法捕捉、修复被气泡遮挡部分的图像哈尔滨工业大学李浩等人[31]提出了基,泡干扰的方法进而去除气,的背景进行补偿同时还能对运动,良好效果。物和焊接机器人的运动都会造成水波纹干扰而水下焊接环境中水流的正常流动、水下生,然光发生折射使得原本的自,产生条纹状光斑在焊缝图像上。

  际应用时因此在实,特征等来选择合适的滤波算法和消除干扰方法应根据噪声与干扰的特点、期望的图像和边缘,除干扰的作用[32]尽可能发挥图像滤波消。

  图像增强技术改善画质在图像去噪后常利用,更加清晰使图像,图像目标方便分割。均衡化、直方图规定化、同态滤波等[33]常用图像增强方法有灰度值线性变换、直方图。接的空间域图像处理方法灰度值线性变换是一种直,关系改变原始图像中每个像素的灰度值它在特定目标条件下根据一定的变换;图调整对比度的图像处理方法直方图均衡化则是利用直方;称为直方图匹配直方图规定化又,直方图匹配到另一幅影像上是将某幅影像或某一区域的。4]在此基础上鄢治国等人[3,图均衡化来增强焊缝特征信息通过对焊缝梯度图像进行直方,的特征提取有利于后续。

  识别处理时在进行图像,图像分割首先进行,取与中心线拟合然后进行特征提,对应的特征提取和中心线拟合方法不同的图像分割方法需使用与之。

  定标准不同按分割的判,割法和图像边缘提取法两种方法图像分割技术主要分为阈值分。

  素的特征属性是否满足阈值来确定图像中的像素属于背景区域还是目标区域阈值分割法将灰度图像转换为二值图像的原理是:通过判断图像中每个像。]、自适应阈值法[36]、大津算法[37]常见的阈值分割方法有最大熵阈值分割法[35。的亮度存在巨大差别激光条纹与黑色背景,间方差法计算分割阈值因此可以运用最大类,区域)与黑色背景(非焊接区域)即把图像分割为白色前景(焊缝,简单算法,较快运算。峰法、迭代法、Kirsch算子法其他的阈值分割法[38]还有双。点激光的反射弱针对有一些关键,阈值的问题不易设置,提出了一种解决方法刘少林等人[39],像的直方图首先提取图,的平均灰度值然后计算图像,高亮度之间处于谷底的灰度等级进行比较最后将其与直方图中介于平均灰度值与最,度级即为最终阈值像素数最少的灰。

  像表面法向变化的不连续的特点图像边缘提取法基于灰度值在图,易于实现该方法,度不高但精。生剧烈变化的点的集合图像的边缘是灰度值发,廓[40]即图像轮。应用于边缘提取目前有许多算法,obert算子、Sobel算子、Prewitt算子、数学形态学方法、Canny算子等方法常用的有Laplace算子、LOG(Laplacian of Gaussian)算子、R。子计算量小但对噪声敏感其中Laplace算;滤波进行平滑处理以免加强噪声[41]LOG算子可以在锐化边缘前通过高斯;算子应用简单Robert,陡峭边缘点都有较好的处理效果[42]运算周期较短且对于图像中的转折点、;噪声但精度不高[43]Sobel算子可以平滑;理效果与Sobel算子相似Prewitt算子的最终处,取的模板不同[44]二者的主要区别为选;噪性能好、边缘提取可靠Canny算子由于抗,和理想的边缘提取方案是目前最为常用、便捷。于小波变换的边缘提取方法郭亮[38]提出了一种基,的边缘检测方法此方法为常用,小波变换后将信号做,的检测得出图像边缘通过对一些特殊值,或逐行进行处理可对图像逐列。

  的图像分割法、最小二乘支持向量机图像分割法等其他方法还有基于脉冲耦合神经网络(PCNN)。NN的图像分割和去除小的假区域来获得目标区域如Yang L J等人[45]采用基于PC,处理方法进行后续处理然后利用传统的图像。具有较强的鲁棒性和灵活性该方法在复杂的焊接环境中,焊接位置的定位时间可以大大缩减初始。光光纹畸变特征不明显针对激光拼焊中结构,别焊缝的问题不能精准识,缝区纹理特征差异依据焊缝区和非焊,最小二乘支持向量机的焊缝识别方法邹媛媛等人[46]提出了一种基于,一定数量的子块首先划分图像为,模型对上述子块进行分类然后利用最小二乘向量机,图像分割最终完成。应力强、精度高此类识别方法适,行焊缝识别可有效地进。

  还需进行特征提取与中心线]完成图像分割后的焊缝图像。割过程中在图像分,分割这一类方法如果采用阈值,定宽度的焊缝进行细化需要对分割后具有一,焊缝直线]然后再进行。]即二值图骨架化图像细化[23,像操作运算是一种图,除二值图像中的前景像素按照一定的规则逐层去,的情况下将其设置为背景点在保证原图形状不发生改变,像素宽度的骨架最终得到原图单。代运算分为两大类:(1)迭代运算其中图像的细化算法按照是否使用迭,次运算即多,像素点最后得到所需的焊缝中心线通过重复地去除满足相关条件的。对图像的分辨率敏感[49]此方法的缺点是运算速度慢、。细化算法和串行细化算法迭代运算又可分为并行,的运行速度较快并行细化算法,算法稍差[50]但效果较串行细化。迭代算法(2)非,elaunay三角剖分细化法包括快速三角剖分细化法和D,点点地靠近多边形完成骨架运算其原理是用局部区域的边界去一。边缘提取这一类方法图像分割如果采用,不连续的焊缝中找出直线]需要利用一定算法从提取。填充和闭操作相结合来补充焊缝轮廓中的孔王志刚等人[52]通过形态学操作将孔洞,缝轮廓的毛刺并保留主焊缝轮廓然后使用递归算法快速去除焊,合焊缝边缘直线轮廓线接着用最小二乘法拟,方程求平均值最后用轮廓线,中心线方程得到焊接。析法提取焊缝的特征点方面做出创新雷正龙等人[53]在原有的斜率分,”提取特征点的方法提出了“由形到点,I型、Y型焊缝坡口此方法适用于U型、。征点提取以到达较高精度的检测要求目前普遍使用神经网络进行焊缝特,算量大、设备成本高的问题其中针对卷积神经网络计,法和权值更新算法的改进型卷积网络压缩算法刘美菊等人[54]提出了包括权值补偿算,心的识别有很好的效果在焊接现场中对焊缝中。极值法[55]、Steger目前常用的中心线获取方法有法

  何中心法[57]、阈值法和细化法56]、骨架提取法[19]、几。为图像中灰度值最大的点极值法定义焊缝中心点,条纹的获取有良好的效果这对呈高斯分布的灰度。essian矩阵相互配合Steger法通常和H,算较为复杂但由于计,用较少一般应。中心线提取常用的方法骨架提取法是激光条纹,目标像素点的邻域该方法首先遍历,行优化处理对连通域进,法去除不相关的连通域然后运用阈值处理的方,亮光条得到高。法应用场合相似阈值法与极值,度呈高斯分布的图像也能被用作焊缝灰。缝识别技术的研究现状进行了分析概括3结论与展望本文对基于机器视觉的焊,焊接精度要求的提升随着现代制造业对,正在高速发展焊缝识别技术。前目,经做了很多具有价值的研国内专家对于焊缝识别已究

  -60][58,台和技术的不足但是受限于平,仍有巨大的发展空间国内的焊缝识别技术。技术的发展趋势的预测如下对基于机器视觉的焊缝识别:

  前的技术中(1)在目,赖于多空间坐标系之间的转换焊缝定位以及焊缝跟踪多依,通常较为复杂而此类算法,新型算法具有很好的发展前景故新型传感器以及其相对应的。ime of Flight)如新推出的飞行时间测距法(T,传感器安装于摄像头上基于飞行时间测距法的,点建立空间坐标系能够以摄像头为原。激光发射与反射之间的时间差或者相位差来确定工业摄像头与焊缝之间的距离通过该传感器计算,头相结合再和摄像,颜色代表不同的距离就能实现用不同的,维轮廓表示出来将焊件焊缝的三,法传感器测算出焊缝位置进而通过飞行时间测距。间坐标系之间的转换此种思路可避免多空,图像信息的难度显著降低处理,识别定位的效率从而提高焊缝。别也是焊缝识别技术的一个发展方向(2)基于机器视觉的焊缝类型识。新的模式识别算法具体方法为引入,神经网络[61]主要为建立卷积。签输出向量作为神经网络训练集将各个类型的焊缝图像以及其标,的训练集作为输入层输入将归一化和标准化后得到,卷积层相连输入层与。卷积神经网络模型并通过训练集训练,象特征转换为向量组合经由输出层将焊缝抽,判断焊缝图像的焊缝类型最后依据输出向量的值来。型识别系统的鲁棒性和精准度采用该方法将大大提升焊缝类。

  焊后质量检测(3)针对,维信息重构焊后焊缝三,的激光三角测量法可采用基于结构光。源投射在焊件表面其原理是用线性光,进行一维扫描接着在每侧。投射到焊接件上时每次投射器将光,就通过摄像头成像带有光条纹的焊件,像上的光线特征对应投射器的光线与图,可通过三角测量原理来确定落在焊件上光线的深度信息,件的三维轮廓信息从而得到焊后焊。高、精准简易此方法稳定性,光干涉性能较好由于使用的激,被焊件表面沟纹反射所以该方法通常不会,下的焊件质量检测可应用于复杂环境。

  技术大部分都缺乏灵活性和适应性(4)基于机器视觉的焊缝识别,一应用场景[62]往往只能适用于某单,下、暗道等如强光、水。杂环境针对复,像往往存在多种干扰摄像头采集的焊缝图,素的新型算法具有一定的研究价值因此开发能够适用于多种干扰因。焊接常伴有烟雾如强光环境下的,存在强光和烟雾两种干扰因素所以摄像头采集的图像上同时,只能解决一种干扰因素以往的图像识别算法,大局限性存在很。类新型算法亟需开发一,两种及以上干扰因素的影响可降低或消除同时存在的,环境下的高精度焊缝识别从而实现多因素并存复杂。

  嘉玮付,取方法研究[J].计算机测量与控制等.基于线结构光的亚像素精度焊缝提,2020,66.HU Yunsong28(07):162-1,JunminWANG ,

  缝边缘特征提取方法[J].焊接学报李原.一种基于自适应二值化阈值的焊,38.YAN Zhiguo2008(07):34-, DeXu,

  M]. 姚国正视觉计算理论[,磊刘,京:科学出版社汪云九译.北,42.黄椰1988.,靖黄,

  长诗肖,跟踪算法研究[J].计算机科学等.基于双目立体视觉的船舶轨迹,1720,313.HUANG Ye44(01):308-, JingHUANG,

  仅代表作者本人声明:该文观点,息发布平台搜狐号系信,息存储空间服务搜狐仅提供信。:山西发布于省

在线客服
联系电话
全国免费咨询热线 0371-53370142
  • · 专业的设计咨询
  • · 精准的解决方案
  • · 灵活的价格调整
  • · 1对1贴心服务
在线留言
回到顶部