基于视觉的机器人激光熔覆过程损伤定位方法

来源：长三角G60激光联盟

目前，再制造中的损伤识别和定位是一项人工视觉任务。这是费时费力的。并且可能导致不精确的修复。为了缓解这一问题，本文提出了一种基于视觉的自动损伤定位方法，该方法将摄像机集成在机器人激光熔覆修复单元中。进行了两个案例研究，分析了基于更快区域的卷积神经网络（R-CNN）的不同配置。本研究旨在选择最合适的配置来定位受损固定弯管上的磨损。收集图像用于测试和训练R-CNN，本研究结果表明训练和验证损失呈下降趋势，平均精度（mAP）为88.7%。

1介绍
激光熔覆（LC）或基于激光的直接金属沉积（LMD）是一种有吸引力的增材制造技术，在航空航天、石油和天然气工业以及机械工程中的应用引起了极大的兴趣。这一成熟的工业过程通过聚焦高功率激光束在基底上产生熔池，并通过同轴喷嘴将材料连续引导到熔池中，使其固化。与传统技术（如铸造、锻造和机械加工）相比，这种逐层制造技术具有提高时间和成本效率的能力[。

在机器人激光熔覆应用中，磨损区域的检查目前是一个手动过程。操作员通过视觉定位损伤，然后使用激光扫描仪捕捉缺陷的表面几何形状。此过程中的信息用于生成零件的维修策略。随着零件规模的增加，这一过程变得更加耗时、容易出错和劳动密集。

本文首先提出了在修复单元中集成视觉传感器以记录受损部件的图像数据。然后，利用两个不同的数据集进行了两个案例研究。这些案例研究进行了分析，以比较用于损伤检测的常用特征提取器的可行性、准确性和时间效率。最后，根据结果选择了合适的模型配置，并提供了结果和评估。

2.方法
本研究侧重于圆柱形固定弯管的损伤识别和定位，更具体地说，是固定弯管上的损伤和衬垫。这些是石油和天然气工业中使用的机械零件。对于磨损的固定弯头，必须区分衬垫的位置，因为衬垫是造成最大损坏的区域，必须进行维修。

2.1基于视觉的RLCRC

使用的机械臂是Fanuc-R-1000iA/80F，这是一种用于中等有效载荷的高速搬运机器人，相机是UVC-G3-Bullet/UVC-G3-AF。图1显示了单元设置的示意图。

图1RLCRC的设置。

3.结果和讨论

3.1案例研究1
为了开发包含受损固定弯管图像的数据库，收集了8种不同类型固定弯管的72张图像（分辨率：1920 x 1080像素）。R-CNN需要大量训练数据来生成高性能模型。这可能是一项繁重的任务，因为获取大量数据非常昂贵，而且通常不容易访问。为了克服这个问题，数据扩充是一种被广泛接受的实践。在这项研究中，应用了不同类型的几何（水平翻转和垂直翻转）和光度（灰度、色调和曝光）增强技术，以使训练模型对照明和相机设置的变化更加鲁棒和弹性。图2显示了来自扩展数据集的样本图像，该数据集通过从72张图像增加到221张图像而被放大。

图2 来自训练数据集的样本增强图像。

3.2对比分析和结果
本研究主要评估mAP，而不是对象建议代理度量，因为它是一种广泛用于对象检测的度量。

从图2可以看出，这两个标签具有相似的特征，并且在图像中有恒定的重叠。假设这些因素是模型中产生偏差和差异的原因，导致mAP评分相对较低。带有一个标签的ResNet50的训练和验证损失如图3所示。对两种模型配置进行推断，边界框预测如图4所示。

图3训练和验证损失与步骤数量的关系。

图4带有边界框输出的测试数据集。

3.3案例研究2

3.3.1数据集

对于自主损伤检测，RLCRC中摄像机的位置将保持不变，这意味着工作站摄像机的图像将始终取自相同的设置。形成了一个新的数据集，包括四个不同固定弯曲的437张原始图像（分辨率：1920 x 1080像素）。与第一个数据集类似，图像被扩充，将数据集扩展到1049个图像（见图5）。

图5 来自新训练数据集的样本增强图像，仅包含具有相同相机设置的图像。

3.3.2对比分析和结果

图6说明了从ResNet50模型获得的结果度量图。如图6（c，d）所示，训练和验证损失均降至稳定点，这意味着没有过度拟合。该模型通过多个IoU度量（IoU=0.50:0.05:0.95）进行评估，这意味着该模型必须在每个IoU阈值下都表现良好，才能获得较高的mAP分数。图6（b）显示了0.50 IoU时的mAP值，达到100%。

图6 结果度量图显示（a）mAP@0.5:0.95 IOU和（b）mAP@0.5 IOU；（c）验证损失和（d）培训损失。

3.4讨论和限制

本研究的目的是开发一种能够识别和定位受损区域的智能视觉系统。该定位过程是使用固定的相机方向执行的，这意味着相机的视图在整个过程中以及在不同部分之间保持不变。因此，更重要的是要有一个专门的模型，以更高的精度定位“垫”表面，而不是一个精度低得多的鲁棒模型。

第一个案例研究是在一个相对较小的数据集上进行的，该数据集包含八个固定弯道的72张原始图像，而第二个案例研究则包含四个固定弯道437张原始图像。

第二个案例研究的结果更为有利，因为目标是获得一个训练有素、更专业的模型来检测特定环境中的损伤。一个更大的数据集将使R-CNN能够更准确地了解损伤和衬垫的特征，并生成更稳健、性能更高的模型。

4.结论和未来工作
再制造中的损伤识别和定位是一项人工视觉任务。它可能耗时、乏味且容易出错。随着计算机视觉、计算能力和对大量数据的访问的最新进展，现在值得探索在再制造中使用该技术。本文提出了一种基于机器学习的机器人激光熔覆修复单元过程中损伤的自动视觉检测和定位方法。为了实现这一点，采用了两种结合转移学习的Faster R-CNN配置。两个案例研究在不同的数据集上进行，案例研究1具有更多样的图像集，案例研究2具有更相似的图像集。还对它们的性能进行了比较分析。这项研究的有希望的结果证明了基于视觉的R-CNN技术在维修和再制造领域的潜力。

需要注意的是，本文的范围是找到固定弯管损伤检测的最佳模型。本文提出的方法将扩展到与深度传感器一起工作，并在未来获得修复零件所需的体积信息。

来源：Peer-review under responsibility of the scientific committee of the 54th CIRP Conference on Manufacturing System, 10.1016/j.procir.2021.11.139