英语原文共 7 页，剩余内容已隐藏，支付完成后下载完整资料

动态激光焊接过程质量监测的主成分图像

Mark Jauml;ger 和 Fred A. Hamprecht

摘要：监视激光焊接过程的一种流行技术是用高速摄像机记录激光诱导的等离子体辐射。使用模式识别系统分析记录的序列。由于原始数据的维度太高而无法进行有效学习，因此减少维度是必要的。激光焊接应用中降低维度的最常用技术是使用分段对象的几何信息。相比之下，我们提出采用人脸识别的思想，并采用基于外观的特征来描述记录图像的相关特征。在来自工业激光焊接应用的代表性数据集上比较几何和基于外观的特征的分类性能。隐马尔可夫模型用于捕获时域依赖性并将未标记序列的分类执行到无错误和有错误的类中。我们论证了基于外观特征的分类系统可以优于几何特征。

索引术语：基于外观的特征，动态过程监控，隐马尔可夫模型（HMM），工业图像处理，工业激光焊接，模式识别，主成分分析（PCA）。

1. 引言

近年来，激光焊接已成为一种广泛且高度发达的工业制造工艺。然而，它也是一个动态和混乱的过程，因此容易受到诸如材料溅射，焊接闯入或焊接增强等过程误差的影响。尽管过程错误很少发生，但确保检测到所有故障焊接至关重要，因为错误可能导致制造组件的故障或完全停机。因此，通常监控质量敏感的焊接过程[1]–[7]。在参考文献的[8]和[9]中也可以找到用于在线监测激光焊接的不同传感器概念的综合概述。当激光照射与工件相互作用时，将会产生二次辐射。该辐射包含有关过程稳定性的信息，并与产生的焊缝上的误差相关联[10]。通常使用高速成像传感器记录等离子体的辐射来达到在线监测激光焊接过程的目的[10], [11]。高帧速率的成像传感器是必要的，因为等离子体的变化可以仅持续几毫秒。用于激光焊接的同轴监测装置如图1所示。激光诱导的等离子体辐射适合于使用标准光学元件的高速相机的成像传感器。在焊接过程中，圆柱形工件在激光束下旋转。图2（a）为使用图1所示的设置记录的来自常规焊接序列的样本图像。在特殊情况下，其中出现了一种形状对象，其在下文中称为熔池。在本文中，我们开发了一种基于外观特征的模式识别系统，用于工业激光焊接过程的质量监控。模式识别系统可以划分为三个不同阶段的顺序：测量（见图1），预处理和特征提取（见第III节），以及分类（见第IV部分）——其中数据量将一段段地减少。在分类阶段的输出处，记录的图像序列被减少到仅代表所选类别的几个比特（单个比特通常用于质量控制应用）。在本文中，重点是分割和特征提取步骤。所使用的分类系统的详细描述和评估在参考文献[12]。通常，激光焊接应用中的特征提取是通过使用检测物的几何信息来实现的。或者，物体（如熔池）从激光诱导辐射的记录图像的噪声背景中分割出[1]，[10]，[11]，或者使用时间变化检测算法对图像进行预处理。 将注意力集中在异常物体的发生上（如溅射事件）[13]。尽管可以计算大量几何特征并通过自动特征选择来选择相关特征，但是该方法具有以下缺点：

1）大量候选特征可能导致冗长的特征选择过程。

2）来自常规和错误熔池的所需数量的训练图像通常随着使用的特征数量（维数的诅咒）而增加。考虑到熔池的错误图像极为稀少（通常的阳性率在0.1％和0.5％之间）并且具有高度可变性，这尤其令人担忧。

因此，通常需要专业知识来找到可用于随后分类的可管理的候选特征子集。通常，候选特征集仍然需要通过特征选择方法进一步缩小，以优化分类性能[14]。为了改善检测性能并使检测系统更加独立于预期形状和熔池偏差的专业公式，来自面部识别的想法被采用了。从常规焊接序列的训练图像集中自动找到记录图像的相关特征。主成分分析（PCA）直接在记录图像灰度值上执行，并且计算的主成分（PC）用作后续序列分类的特征。子空间仅由属于常规焊接序列的图像计算。观察与训练集中的样本所构成的特征空间区域的偏差也作为新颖性度量是有用的信息。这种“残余误差”特征可以检测到在熔体池的规则外观下从而无法观察到的变形。在特征提取之后，图像序列被简化为低维特征向量的时间序列，并且可以执行自动分类。分类框架的任务是检测特征时间序列中的错误事件。我们选择使用隐马尔可夫模型（HMM）进行分类。隐马尔可夫模型是最流行的序列建模方法之一，广泛用于语音，文本或手势识别等应用。采用的隐马尔可夫分类框架是逐步构建的，可以从错误的序列中学习，而无需在序列中指定错误事件的位置（弱标记数据）[12]。

本文的结构如下：第二节描述了实验数据，第三节介绍了基于对象和外观的特征。 然后，第四节简要介绍了使用HMM的分类框架。 第五部分介绍了几何和基于外观的实验数据特征的性能比较，第六部分提供了结论。

1. 数据采集

我们面临着一个非常不平衡的数据集，其中常规序列（负例，类omega;R的成员）构成绝大多数，包含错误事件的序列（正例，类omega;E的成员）构成少数类。

从生产线上收集实验数据，为期三个月。使用高速CMOS相机监控焊接过程，帧速率为7915 fps，感兴趣区域为64times;64像素。记录的焊接图像对应于大约0.9times;0.9mm 2的视场。焊接过程由温度传感器控制，以实现恒定的焊缝深度。激光输出功率的控制使得区分正常过程波动和记录序列中的异常错误事件具有挑战性（困难）。所制造的焊缝由专家目视检查，并使用识别号与所记录的图像序列匹配。识别的成分和制造部件一致，在焊接过程之前读出，并与记录的图像序列一起保存。这确保了每个部件可以与相应的图像序列正确关联。

总共收集了98个带焊接误差的零件和大约900个无错误焊接过程。在观察期间，记录了大约100000个无差错焊接序列，从中对900个采集的序列进行了均匀采样，以捕获常规过程波动并避免实验误差。来自无差错焊缝的记录序列的样本图像如图2（a）所示。 表明焊缝缺陷的典型变形如图2（b）-（d）所示。

1. 特征提取

记录序列的图像IK可以被认为是高维特征向量。 因此，特征的数量远大于观察的数量，使得必须在训练分类器之前将来自每个记录图像IK的相关信息压缩为m维观察向量Ok。 特征提取之后通常是特征选择步骤，因为在实践中，不知道可以最好地区分不同的类的先验特征。在本节中，介绍了用于激光焊接工艺质量控制的基于物体和外观的特征。 虽然对象特征被广泛用于激光焊接应用中的特征提取[10]，[11]，[13]，[14]，但这是第一次使用子空间方法从面部识别中获得的基于外观的特征。

A几何特征

通常，熔池从嘈杂的背景分离出来，并具有各种几何特征[10]，[11]，[13]，[14]。 分段熔池被以下简单的特征定义，如坚固性s，紧凑性sigmaf;，面积A，周长p，平均灰度值GVm，或者基于矩特征。用于工业应用的几何特征的优点在于它们易于解释，并且可以在不需要大型训练数据集的情况下承担领域知识。尽管如此，如第一部分所述，专业知识对于将一个理论上可能很大的的特征缩小成分类系统可以自动选择相关的子集是很有必要的。 [14]中考虑了激光焊接应用的自动特征选择，该应用具有基于形状和力矩的特征，用于通过变化检测算法实现的物体。

例如，为了检测熔池变形，必要的特征可以分为以下两组，关于不同程度的不同性：1）描述熔池尺寸变化的特征（如面积或平均亮度;见图2（b）为例子）和2）可以检测变形的特征（例如坚固性或紧凑性;参见图2（c）为这种误差）。例如，紧凑度sigmaf;可以被定义为：

sigmaf; =

该特征达到光盘的最小值（sigmaf;= 1），并在熔池变形时生长。

B基于外观的特征

基于外观的方法直接在基于图像的表示上实现，即像素强度阵列IK而不需要分割。在人脸识别应用中，子空间方法优于使用几何信息描述面部特征的传统技术[16]，[17]。由于熔池的圆盘形状，激光焊接应用中的特征提取可能与点检测应用有关。例如，基于外观的斑点检测已经成功地用于检测古代沉降土墩[18]或用于驾驶员辅助应用的雨滴检测[19]。

1. 预处理：由于每个观察到的灰度值直接对应于特征空间的一个轴，因此子空间方法对记录的熔体池的平移敏感。为了实现平移不变性，从记录的图像中提取子窗口。在该子窗口中可以很好地观察到熔融池，并且由于仅使用了记录图像的一部分，因此可以补偿较小的平移。在一个序列中，预计熔池不会改变其位置（除非发生错误事件），但在不同序列之间，必须确保位置不变性。记录的熔池通常是旋转不变的，没有重大变化除非出现错误事件，否则在焊接过程中预期其尺寸或亮度是不会大变化的。激光参数可以稍微改变激光在焊接应用中，并且这会影响记录图像的强度。因此，将完整的图像序列归一化为零均值和单位方差。在属于一个焊接序列的所有提取的子窗口上估计均值和方差。不可能对每个单独图像进行标准化，因为这可能导致错误否定。
2. 子空间计算：PCA是最广泛使用的数据减少工具之一[20]。 它将高维特征空间分解为主子空间F和正交互补空间F₁，如图3（a）所示。 残余误差，也称为特征空间（DFFS）在特征面工作的上下文中的距离，是高维特征空间中一个点与主子空间F的欧几里德距离。这两个分量都在F空间中（ 其中描述了数据中的主要变化的相应的数据）以及残余误差携带可用于分类的信息。

训练集包括从不同的无差错焊接序列中采样的多个图像I_K。从训练图像I_K，矢量I^rsquo;_K通过像素元素的二维元素的词典排序形成。结果矩阵I，其中每一纵行（列）表示一个图像矢量I^rsquo;_K。 PCA方法寻找它的方向Ф_i，其中i = 1,2，...，N_i，其中N_I = dim（I^rsquo;_K）在I空间中具有高方差[21]。第一个PCA的Ф₁的方向：

phi;1 = argmaxphi;=1var(Iphi;)

是I的线性组合，具有最大方差; 第二个PCA方向phi;₂与第一个PCA方向正交并具有第二高方差，依此类推。 可以通过特征值分解找到PCA方向Phi;的完整矩阵：

Lambda;=Phi; TCPhi;

其中Phi;^T是矩阵Phi;的转置，C = I^TI是协方差矩阵，Lambda;是对应于方向phi;i的特征值lambda;i的矩阵。

为了获得PC特征向量y_k，pc，将高维图像向量I _k投影到特征向量方向上。 为了减小维度，图像投影在对应于M_pc最大特征值的M_pc lt;N I特征向量上，仅

yk,pc =Phi; ^T _Mpc I

其中Phi;_Mpc是包含M_pc最大特征值特征向量的Phi;子矩阵，而I^lsquo;_k = I _k是中心图像向量。 从训练数据集中获得平均向量I。当数据被投影到对应于该特征向量的1-D空间时，对应于每个特征向量的特征值等于数据的方差。因此，由M_pc-维子空间捕获的方差量等于M_pc最高特征值的总和。典型焊接过程动态的典型特征值谱如图3（b）所示。大约2.1％的PCs（M_pc = 20和N_I = 961）被捕获数据方差。前三台PC已覆盖约81％的数据差异。

对于用于计算主子空间的图像，DFFS信号（残差重建误差）增加。

由于主子空间仅从常规熔池外观计算，因此对于错误图像，残余重建误差将会增加（见图6）。

1. PCA的局限性和扩展性：PCA仅考虑像素的一阶和二阶统计依赖性，因此，对于面部等复杂对象，已经扩展研究了以改善识别和辨别[20]。更高阶像素依赖性可以用例如独立分量分析（ICA）建模。与PCA一样，ICA可以线性投影来解决问题，但其基本功能并不局限于高斯分布。捕获非线性的另一种可能性是采用内核方法[23]。 在分量分析之前，输入图像被非线性地映射到高维空间，并且使用内核技巧启用了有效的计算。 与使用PCA获得的结果相比，在熔池图像上使用ICA的实验显示没有显着的改善。 这表明二阶统计量足以描述盘形熔池的特性，这些熔池是与面相比的简单物体。

PCA的第二个限制是它是一种无监督的方法。一般来说，这限制了分类系统，因为并非所有可用的信息都用于方向选择。非常有监督的子空间方法是Fisher线性判别分析（LDA）。Fisher的LDA试图找到方向，使得类间散射与类内散射的比率最大化[24]。 Fisher的LDA可以改善人脸识别系统的性能，特别是在不同的亮度方向或面部表情[25]。 对于过程监控应用程序，将子空间计算限制在负面例子并使用无监督技术是有益的。因此，没有必要收集大量的正例，由于不相等的等级比例，这是很困难的。

1. 来自训练数据集的计算的特征向量遵循面部识别中的符号，被称为艾根熔池。对于典型焊接过程，对应于前四个特征值 - 特征向量的艾根熔池如图4所示。艾根熔池跨越主要子空间F，称为点空间。如图5所示，用于定期熔池外观动态的斑点空间的表示。该图显示了使用前两台PC捕获的可能的熔池变化。通过改变前两台PC的值并将所有其他PC组件设置为零来生成图像。前两台PC描述了熔池的允许增加和减少的值。

1）实际问题：如果选择艾根熔池的M_pc的数量太高，则重建误差不携带任何信息，因为艾根熔池也捕获异常变形。如果选择的M_pc太低，则不能完全捕获常规焊接动态过程，并且对于常规序列，重建误差也很高。 正确选择M_pc<!--

全文共7343字，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[1992]