橡树岭: 基于多传感器融合及机器学习的增材制造构件原位无损评估方法

来源： 复合材料力学

1导读
L-PBF（激光粉末床熔融，Laser Powder Bed Fusion）增材制造作为制造业广泛采用的金属3D打印技术之一。其制造构件的工业资格认证严重依赖于昂贵的无损检测技术，大大限制了制造构件的工业应用。尽管原位工艺监测作为一种更经济的质量评估方法，可替代非原位检测。但，现有传感以及数据分析技术在规模生产的L-PBF打印机上，难以检测亚表面缺陷（例如，孔隙和裂纹）。近年来，ML（机器学习，Machine Learning）在增材制造原位缺陷检测方面取得了显著进展，然而鲜有研究对这些技术的实用性以及不确定性进行评估，使得ML技术在AM构件的无损评估（NDE）中的准确性仍存疑虑。

2023年，增材制造Top期刊《Additive Manufacturing》发表了橡树岭国家实验室的基于多传感器融合及机器学习的增材制造构件原位无损评估研究工作，论文标题为“Scalable in situ non-destructive evaluation of additively manufactured components using process monitoring, sensor fusion, and machine learning”，第一作者为美国橡树岭实验室Zackary Snow副研究员。

研究者开发了一个INDE（INDE，In-situ NDE）系统，该系统能从多模态传感数据中检测到亚表面缺陷。同时，通过向人工参与循环标注程序中输入多层次、多模态图像及XCT表征数据，INDE系统能有效检测尺寸为200-1000μｍ的制造缺陷。此外，通过将原位检测的亚表面缺陷与XCT数据进行系统地比较分析，建立了INDE系统不确定性评价指标：检测概率（POD, Probability-of-Detection）以及误报概率（PFA, Probability-of-False-Alarm）曲线，且该评价指标能更好的洞察过程监控对增材制造的实用性。

2内容简介
该研究使用可见光相机以及NIR（NIR，Integrated Near Infrared）成像仪逐层收集多模态工艺图像（图1）。在打印过程中，采用24.4兆像素的可见光相机在激光熔化及铺粉后捕获了粉末床的图像，使用NIR成像仪在打印层的持续时间内收集构建板的热发射图。NIR成像仪每层生成两张图像：一张“积分”图像，表示一层中像素强度的总和；一张“最大值”图像，代表一层中像素强度的最大值。尽管，NIR图像中的亮点与飞溅诱导的随机熔合不足相关，但这些图像的空间分辨率较低及可能包含伪影，为解读带来挑战性。同时，受到先前层中形成的异常影响，会导致误报产生。更有趣的是，并非NIR图像中检测到的所有亮点都对应于亚表面缺陷，也并非所有亚表面缺陷都有相应的亮点。

图1 XCT试样对应的多模态感知图像数据

通过结合可见光、近红外图像以及XCT表征数据，进行标签类别注册，以生成训练DSCNN（DSCNN，Dyamic Segmentation Convolutional Neural Network）网络的数据库（图2）。根据工艺特点，将标签分为8种类别：粉末、打印、条纹边界、刮刀条纹、飞溅在零件上（非缺陷）、飞溅在粉末上、XCT缺陷（小）、XCT缺陷（大）。粉末和打印代表了未熔化的粉末颗粒和成功熔化的材料两种标准状态。条纹边界将条纹边界界面处热数据中的亮像素与飞溅在零件上(非缺陷)、XCT缺陷(小)或XCT缺陷(大)对应的亮像素区分开。刮刀条纹代表了刮刀在粉末床中产生水平扰动的实例- -要么来自刮刀损坏，要么沿着刮刀方向拖拽碎片。剩下的四个类别与飞溅及其引起的随机未熔合有关。

图2 XCT表征数据与人工循环参与相结合的多类别标签注册

通过分析DSCNN模型在测试数据中的分割结果发现：位于飞溅发生器下游的四个试样包含了最高程度的孔隙率和最复杂的工艺监测信号，这使得它们成为评估训练网络性能的良好候选对象。如图3，展示了试样XCT缺陷分割结果、熔化后可见光和近红外积分图像、测试标签、DSCNN对每个像素的预测类别以及原位无损预测的XCT缺陷（小）和XCT缺陷（大）像素的位置，且原位无损检测结果与XCT缺陷检测结果展示出良好的一致性。正如分析结果（图3），DSCNN模型能轻松识别粉末床中的打印材料以及未熔化粉末。同时，尽管在条纹边界和打印材料之间存在一些混淆,与条纹边界相对应的像素在这些样本中也可以被检测到。研究发现，在这些试样中检测到的缺陷通常具有大约250μｍ及以上的等效圆直径，而较小的缺陷（XCT缺陷（小））通常被误分类为已打印材料或未导致缺陷的飞溅粒子，即飞溅在零件上（非缺陷）。由于传感器的分辨率约为125μｍ，因此DSCNN模型难以轻松检测到小于250μｍ的缺陷。

图3 DSCNN网络分割结果

正如预期的那样，原位传感器的有限分辨率导致了对小缺陷的预测性能较差，只有0.2 %的XCT缺陷(小)被正确识别。在属于XCT缺陷(小)类的剩余像素中，91.5 %被分类为打印材料。分析混淆矩阵表明（图6），INDE系统很难区分XCT缺陷(大)和飞溅在零件上(非缺陷)像素之间的差异。在标注为XCT缺陷(大)的真实数据中，仅有40.4 %被正确预测，其余被分类为飞溅 (17.7%)或打印材料(39.8%)。值得注意的是，尽管XCT缺陷(大)和飞溅在零件上(非缺陷)像素之间的混淆很可能是真实的效果(见图6)，但XCT缺陷(大)和打印类之间的部分混淆很可能是由于小前景像素，以及XCT缺陷和背景像素类之间的划分偏颇造成的。事实上，测试数据中仅有18.6%的飞溅颗粒与XCT数据中发现的缺陷有关。因此，与猜测所有飞溅颗粒都会导致最终缺陷相比，DSCNN性能提高了111%。此外，空间较小像素类的许多错误分类似乎与背景类接口的不正确定义有关(例如，XCT缺陷（大）和打印类之间的接口)，而不是缺少融合的个别实例。研究认为传统的ML性能指标并不能捕捉INDE系统的真实性能，因为其当前的目标不是准确评估缺陷形态或尺寸，而是检测缺陷的单个实例。

图4 神经网络混淆矩阵及缺陷分类结果

尽管与这些与XCT样件相对应的传感器数据及其复杂，但INDE系统对所示层和构件的缺陷检测几乎没有误报（图5）。研究通过分析POD及PFA曲线，定量评估了INDE系统的检测性能（图5）。尽管在当前的INDE系统迭代中，POD和PFA曲线可能还不足以直接从一些商业应用的工艺监测中识别XCT缺陷，但该方法提供了一个比较INDE系统性能的框架，并为工程师提供了在设计阶段考虑检测不确定性的量化度。经过适当的训练后，来自INDE的检测结果可以在制造后的后续探测流程中告知感兴趣区域，或者在访问测量缺陷群和测量不确定性的情况下，将其用作疲劳寿命预测模型的输入。

图5 （a）XCT扫描结果与DSCNN分割结果比较，（b）原位无损检测系统的POD及PFA曲线

原位缺陷预测尺寸是与其形成物理机制相关联的特征，因此XCT数据中缺陷的尺寸可能不等同于对应的原位缺陷检测尺寸。对原位检测以及与XCT数据匹配的缺陷等效圆半径进行分析，发现等效圆半径大于125μm的缺陷，原位探测及与其对应的XCT缺陷等效圆半径之间的中位数比值约为2.49。然而，对于成功检测到的小于125μm的XCT缺陷，其比值的中位数约为5.31。

图6 原位检测与XCT扫描中的缺陷尺度大小分析

3小结
该研究提出了一种基于DSCNN深度学习模型的增材制造亚表面缺陷原位无损检测方法，建立了XCT表征数据与人工循环参与相结合的数据注册方法，由此提高了INDE系统的检测分辨率（缺陷尺寸为200-1000μｍ），并首次证明了POD/PFA曲线能有效评价INDE系统的检测率和误报率。该研究为L-PBF增材制造构件的原位无损评估提供了新思路，也为多传感监测技术在增材制造领域的应用提供了新方案。

原始文献:

Snow Z, Scime L, Ziabari A, et al. Scalable in situ non-destructive evaluation of additively manufactured components using process monitoring, sensor fusion, and machine learning[J]. Additive Manufacturing, 2023, 78: 103817.

原文链接:
https://www.sciencedirect.com/sc ... i/S221486042300430X