基于自适应视觉的定向能量沉积激光与材料相互作用检测

来源：长三角G60激光联盟

导读：本文提出了一种基于低成本高动态范围（HDR）视觉传感器的激光-材料相互作用区目标区域检测方法。
摘要

现场视觉数据采集、特征提取和分析是定向能量沉积（DED）质量评估的持续挑战。本文提出了一种基于低成本高动态范围（HDR）视觉传感器的激光-材料相互作用区目标区域检测方法。大量实验结果表明，该方案能够在各种功率水平和工艺条件下检测和跟踪目标区域。

1.介绍

定向能量沉积（DED）是一种增材制造（AM）工艺，其中粉末流通过气流引导到基板上，并通过与激光束的相互作用熔化，逐层制造给定零件。DED是最常见的金属增材制造工艺之一，以其生产高密度零件的能力而闻名，否则很难实现。目前正在努力更好地理解和提高激光金属AM工艺的性能和可靠性，以实现工业化和工艺采用，努力主要集中在提高零件质量和工艺重复性。

根据ASTM/ISO AM术语标准(ISO/ASTM 52900-15)，“DED是一种增材制造工艺，在其过程中，聚焦热能被用于熔化正在沉积的材料。”定向能沉积(DED)与PBF类似，它使用激光(或电子)束来熔化粉末。然而，粉末原料的沉积和熔化方式使其更容易和成本有效地扩展到更大的AM部件。

研究人员使用各种传感技术观察到熔化和凝固现象，以更好地理解激光与材料相互作用背后的物理，识别过程不稳定性，并控制过程。在金属AM中，监测传感器可以相对于能源同轴或离轴放置。在同轴配置中，视场专门聚焦于熔池，在熔池中监控工艺区。离轴传感器从侧面观察过程，在其视野范围内具有更宽的过程景观。离轴探测器可以是静态的，可以在打印一个沉积层的开始和结束时捕获构建环境，也可以安装在沉积致动器上，从而在整个层沉积之后。

激光金属沉积工艺示例草图。

辐射传感器在不同光谱范围内捕捉到的可检测过程特征包括熔池几何形状、等离子体羽流、沉积几何形状以及孔隙和裂缝等缺陷。使用这种探测器，可以在加工过程中观察熔池几何形状并提取几何特征。在高功率水平下，无法看到扫描速度与熔池长度之间的线性关系。新兴的沉积质量评估方法侧重于基于熔池、等离子体羽流和使用高速视觉探测器生成的飞溅图像的机器学习算法。

DED过程通常以1到30 mm/s的速度运行，激光束光斑大小在0.5到3 mm之间，功率在200到1500 W之间，具体取决于所处理的材料和束斑大小。因此，此类工艺产生的熔池区域约为几毫米。因此，当部署聚焦于激光-材料相互作用区的热成像探测器时，需要足够高的空间分辨率、热分辨率（动态范围）和响应时间，以高时间分辨率捕获空间热梯度。高分辨率、高动态范围和高频性能的探测器成本通常令人望而却步，限制了其作为过程监控、性能分析、质量控制和过程控制的工业解决方案的应用。

对不同的输入向量进行主成分分析后的前三个分数，(a)熔体池特征，(b)羽流特征，(c)溅射特征，(d)三个物体特征。

本文研究了一种基于低成本高动态范围(HDR)视觉探测器的激光-材料相互作用区域自适应提取方法。定义了三个激光材料加工区域，即核心区、熔池区和白炽灯区。这项工作的重要性在于算法在定义感兴趣区域、优化区域检测参数方面的灵活性，以及在所研究的所有熔融模式下检测感兴趣区域的鲁棒性。

我们的研究重点是低成本的热成像数据采集与先进的视觉特征提取相结合，这有助于更好地理解激光与材料的相互作用。目标是开发一种鲁棒的特征检测算法，以对抗由激光材料加工区域的时空波动、背景照明的强度梯度以及由于材料喷射引起的视场中的随机夹杂所引起的强度变化。本文介绍的分析框架既可以容纳轴上数据集，也可以容纳轴外数据集。给定一个HDR帧，构造一个彩色编码的地图，如图1所示，使用户可以在训练和注释数据集的同时选择感兴趣的区域。为了演示的目的，选择了三个区域来开发和演示我们所提议的方法的性能能力。

图1 三个目标区域，即核心、熔池和白炽灯的说明，使用HDR相机从激光-材料相互作用区域捕获。提供了通过感兴趣区域的垂直和水平强度剖面以及边界。注意，仅应用强度阈值法将无法在不受附近抛射粒子强度影响的情况下识别三个目标区域。

2.区域初始化和稳定的建议方案

如图1所示，三个感兴趣的区域（核心、熔池和白炽灯）围绕最亮点居中，从一帧到另一帧，最亮点位置稳定。此外，从同一图中可以看出，当我们从一个区域移动到另一个区域时，亮度级别会发生变化。然而，如图1中的示例所示，利用每个区域的单个强度阈值将无法有效地将目标区域彼此分开或与附近的喷射粒子分开。因此，为了检测这三个感兴趣的区域，首先对每个输入图像使用自适应图像阈值技术。图2显示了提议的检测方案的框图。

图2 提出的区域初始化和稳定技术框图。

为了适应区域的不同亮度水平，如图1所示，使用区域生长技术来检测Core, Melt pool和Incandescent区域，从M˜t,k 开始。图3显示了拟议方案的框图，并举例说明。

图3 提议的基于区域生长的检测技术的框图。

3.自适应特征验证方法
3.1.实验装置和制造计划
实验使用机器人DED系统（DM3D-DMD IC106）进行，如图4所示。机器人系统（ABB IRB140，https://new.abb.com)具有六个轴，但是为本文中的实验创建的扫描路径仅跨越2D沉积路径。末端执行器引导2 kW磁盘激光束（TRUMPF TruDisk 2000，https://www.trumpf.com)金属粉末同轴通过喷嘴。

图4 带机械手的DED机器。

使用不锈钢（SS316L）粉末进行单线沉积。在本工作的背景下，对于离轴测量，设计了一个支架，用于将相机安装在机器人末端执行器上，如图5所示。支架允许进行调整，以便以不同的视角、角度和工作距离查看熔池。对于目前的工作，相机安装在扫描路径的主视图中，熔池位于视野的中心。

图5 安装在DED机器人系统上的视觉系统。安装支架可以适应不同的焦距、相对于垂直平面的视角和相对于沉积路径的视角。

本工作中开发的算法旨在推广用于此类熔池数据集。使用这种低成本相机的想法是将从HDR图像中提取的区域的尺寸在各种熔化模式操作条件下关联起来。

样品的SRμT图像（a–c）显示了在冶金研究期间小孔模式激光熔化过程中形成的孔隙（d）。图（a）显示了三维孔隙分布，每个孔隙显示为紫色。图（b）显示了样品沿激光轨迹三个位置的一系列2D横截面。蒸汽腔的不完全塌陷在激光束尾迹中留下空洞，如（a）-（c）所示。

3.2沉积几何估算

激光轮廓仪的输出是沉积的高度图，如图6所示。开发了一种算法来提取每个沉积横截面的几何特征、宽度和高度。为了抑制粘附颗粒引起的噪声，首先使用窗口大小为10的移动平均滤波器对沿y轴离散位置的每个沉积横截面进行过滤。在图7中，黑色实线和橙色虚线分别显示原始数据和过滤数据。沉积剖面导数的最大值和最小值表明沉积边界处的陡坡；这些是线性插值的，显示为绿色虚线。衬底和插值线的交点决定了沉积材料的宽度边界。沉积剖面的高度被视为沉积宽度边界之间中点处的高度值。

图6 激光轮廓仪扫描的沉积点云（高度）数据。

图7 从原始激光轮廓仪数据中提取特征。绿线表示轮廓边缘的直线拟合。

由于多种原因，无法在特征提取框架（核心、熔池和白炽区域）中定义的视觉特征尺寸与激光轮廓仪几何特征之间进行直接比较。视觉系统检测到的沉积区位于A1平面上（图8），这是每个时间点实际熔池宽度和长度的函数，而轮廓测量法检测到的几何特征位于A2平面上（见图8），描述了沉积宽度和高度。图9 是拟议信号注册方案的概述。

图8 激光轮廓仪和HDR视觉系统捕捉到的不同熔池区域。

图9 拟议信号配准技术的框图。

4.实验结果与讨论

4.1.基于视觉的特征检测的定性结果

图10显示了在五个不同功率水平下记录的测试序列的拟议区域检测方案的样本定性结果；其他定性结果可在[52]中找到。

图10 测试数据集上拟议方案的样本定性结果，其中白色、绿色和红色椭圆分别表示岩芯、熔池和白炽区，TP和FP分别表示真阳性和假阳性检测。可以观察到，所提出的方案能够在更高的功率水平下减少附近亮区对检测目标区域的影响。

一般来说，我们注意到，在较高的功率水平下，可能会有更多的喷射物干扰目标区域，因此检测感兴趣区域的任务变得更具挑战性。我们提出的方案能够在较低功率水平下很好地检测到三个目标区域，尽管在较高功率水平下存在遮挡和较亮的照明条件，但该方案仍然保持稳定。

4.2.基于视觉的特征检测的定量结果

为了研究使用所提出的区域增长方案对检测性能的影响，对检测方案进行了评估，包括有区域增长和无区域增长，因此无区域增长意味着只使用了区域初始化和稳定技术。

图11显示了根据平均TPR和平均速度3(每秒帧数)，在有区域增长和无区域增长的情况下，所提检测方案的评估结果。对于核心区域(CR)，区域增长的附加价值是有限的，而对于其他区域，所提出的区域增长方案提供了更高的TPR值，但花费的计算时间是不进行区域增长的两倍。因此，对于距离激光束中心较远的中大型感兴趣区域的检测，推荐的检测方案将采用带区域增长的检测，因为它能提供更高的检测精度，而对于较小的区域，不带区域增长的检测有望提供足够的结果。

图11 区域增长和不增长探测器的真阳性率（TPR）与检测速度（每秒帧数）的关系。区域增长的探测器速度较慢，但明显比不增长区域的探测器提供更高的TPR。

4.3.使用视觉和轮廓测量数据集进行工艺质量评估

通过将从视觉数据中提取的区域与用激光轮廓仪测量的沉积尺寸进行比较，进行工艺质量评估。为了进行这种比较，熔池区域和沉积宽度分别从视觉数据和激光轮廓仪数据中选择，结果如图12（a）所示。

图12 （a）从视觉数据中提取的熔池宽度与用激光轮廓仪测量的沉积宽度的比较，（b）标准化熔池宽度和标准化沉积宽度的对比。

沿整个沉积线还比较了熔池区域的宽度和沉积宽度。从像素到毫米的转换是基于两个数据集的平均值进行的。目的是观察两个数据集趋势的相似性，其中一个数据集在每个功率水平下如图13所示。平均x相关性为ρavg = 0.391 ± 0.069，激光功率850 W时x相关性最高，ρ值 = 0.546。

图13 在五个不同功率水平下，记录预测沉积宽度与熔池宽度的样本结果，其中mm*表示缩放从相机获得的熔池宽度后的单位长度。

尽管由于采样率、数据对齐的不确定性，注册两个不同的数据集（视觉和轮廓测量）有许多挑战需要解决，但观测到的相关性很有希望。本研究侧重于从基于图像的数据中进行自适应特征识别，图13并不旨在显示激光轮廓测量数据和提取的熔池特征之间的完全一致性。这项工作说明了特征提取的一个应用，展示了在过程控制中使用基于视觉的数据作为反馈的潜力。作为未来的工作，建议从像素到毫米的校准，以充分利用这些算法用于在线特征检测的潜力。

5.结论

本文提出了一种利用低成本HDR视觉探测器检测激光-材料相互作用区中预定目标区域的方法。

1.该框架基于使用能量收敛准则的自适应图像阈值和区域生长技术。该框架中使用的参数可以通过只使用有限数量的带注释的帧来解决优化问题来自动获得。

2.为了量化所提出的区域检测技术的可靠性，引入了一种配准方案，将视觉传感器获得的测量值与高采样率激光轮廓仪获得的测量结果对齐。

3.对五种不同功率水平下捕获的序列进行的大量实验表明，该方案具有鲁棒检测目标区域的能力。在这项工作中，真阳性检出率显著高于90%，而假阳性检出率低于10%。

4.提出的框架比无区域增长的基本阈值法有了显著改进。观察到，该方法在检测所有激光功率水平下的所有区域时，保持了其鲁棒性，真阳性率高于90%。另一方面，基本阈值法表现出较差的性能，特别是在检测易失稳的情况下，如高激光功率水平下的白炽区和熔池区，真阳性检测率显著下降至55.78%。

5.校准后的视觉和轮廓仪数据遵循类似的全球和本地趋势，这是很有希望的，但需要使用预先校准的实验装置进行更仔细的未来调查，以实现实时过程监控，作为控制沉积几何结构的一种方法。

来源：Adaptive vision-based detection of laser-material interaction for directed energy deposition, Additive Manufacturing, doi.org/10.1016/j.addma.2020.101468

参考文献：Laser based additive manufacturing in industry and academia, CIRP Annals, 66 (2) (2017), pp. 561-583; Laser cladding of aerospace materials, J. Mater. Process. Technol., 122 (1) (2002), pp. 63-68