来源：长三角G60激光联盟
导读：据悉，本文对最终算法的性能进行了评估，并通过几个案例研究证明了其作为独立软件包的有用性。
尽管工业界迅速采用了激光粉末床熔接（LPBF）增材制造，但目前的工艺在很大程度上仍然是开环的，实时监控能力有限。虽然一些机器在构建期间提供粉末床可视化，但它们缺乏自动分析能力。这项工作提出了一种现场监测和分析粉末床图像的方法，有可能成为LPBF机器实时控制系统的一个组成部分。具体而言，计算机视觉算法用于自动检测和分类在粉末撒布过程中发生的异常。异常检测和分类是使用无监督机器学习算法实现的，该算法运行在一个中等大小的图像补丁训练数据库上。对最终算法的性能进行了评估，并通过几个案例研究证明了其作为独立软件包的有用性。
1.介绍
近年来，增材制造业（俗称3D打印）作为一个行业经历了巨大的增长；这对于生产网状金属零件的机器和工艺来说尤其如此。增材制造承诺非常适合航空航天和医疗应用，以及在现场和偏远地区生产任务关键部件。然而，这些应用需要一定程度的零件质量保证和工艺可靠性，这是目前市场上的系统难以实现的。
图片（a）显示Arcam A2建造室的新组件位置和红外摄像头，以及（b）使用红外摄像头拍摄的图像。
Rodriguez等人将红外热像仪集成到Arcam A2电子束-PBF机器中，如上图（a）所示，以便分析每个构建层的表面温度曲线。此外，此信息随后用于修改下一层的生成设置。FLIR系统SC645红外热像仪因其高分辨率（640×480像素）和2000°C的测量温度范围而被选中集成到Arcam A2中。安装红外摄像机需要大量的机器修改，其中包括用ZnSe玻璃替换系统以前的摄像机，安装一个保护瓣，充当快门，保护ZnSe窗口，以及安装气动执行器来激活快门襟翼。控制系统还与Arcam合作进行了修改，以触发快门和图像捕获。ThermaCAM研究员用于手动分析图像，测量来自表面的发射辐射（来自物体的发射，来自环境源的反射发射和来自大气的发射），并将其转换为相对温度读数。加工过程中由“过度熔化”引起的材料不连续性可以从生成的红外图像中识别出来，如图（b）所示。
激光粉末床熔合（LPBF）机器通过使用重涂器刀片将一层薄薄的金属粉末涂敷在构建板上进行操作。粉末铺展后，使用激光束在与3D零件的2D切片相对应的位置选择性地熔化粉末。激光完成后，降低构建板，再铺上一层粉末（在现有粉末床上，图1），重复该过程，直到零件完成。在现场监测构建方面开展了大量工作，特别关注跟踪激光束产生的熔池大小]以及粉末床温度。最终零件中的许多缺陷，以及构建过程的整体可靠性，都与重涂器叶片和粉末床之间的相互作用直接相关。工作重点是监控粉末床的最终零件中的缺陷指示，以及可能影响整个过程稳定性的异常。
图1 EOS M290采集的原始粉末床图像。
为了实现全面粉末床监测的目标，本工作提出了一种算法，该算法实现了现代机器学习和计算机视觉技术，仅使用LPBF机器制造商提供的硬件来检测和分类列举的异常。这是一个挑战，因为每个粉末层图像可能包含数百个唯一可识别的异常；为了弥补这一不足，本文修改了标准方法，以允许对单个图像中的多个对象进行分类。即使作为独立软件（例如，未与LPBF机器控制系统集成），该算法在分析构建故障和分析最终零件质量方面也证明是有价值的。
2.实验程序和方法
本文所述的所有工作均在EOS M290 LPBF机器上进行（EOS GmbH，德国）。未对EOS硬件进行任何修改，例如，仅使用库存摄像机和照明配置。
2.1.图像预处理
EOS M290拍摄的原始图像（图1）存在一些困难，妨碍了它们在基于机器学习的算法中的直接使用。幸运的是，相机的安装和照明条件在整个构建过程中以及不同构建之间保持一致，因此许多所需的图像增强可以大大简化。
图2显示了一个完全预处理的图像。初步结果表明，该算法完全能够操作其他（即非CMU）EOS M290s生成的数据集，前提是遵循上述预处理步骤。此外，该算法已成功用于分析从安装在SLM 280机器（SLM Solutions GmbH）上的相机拍摄的几个粉末床图像。请注意，在本文档中显示的所有粉末床图像中，重涂器刀片从右向左移动（如图1所示）。
图2 图1预处理后。
2.2.粉末扩散异常等级的选择
复涂器跳跃通常发生在复涂器刀片（相对）轻轻撞击粉末层正下方的零件时。这种撞击会导致复涂器叶片周期性“颤动”，如图3a所示，在粉末层中可以看到重复的垂直线。当复水器叶片损坏（即“刻痕”）或复水器刀片拖拽一块碎屑或一团粉末穿过粉末床时，会出现复水器条纹。粉末层中的单个水平线可见复涂条纹（图3b）；由于其尺寸相对较小，因此使用本方法检测异常是最具挑战性的异常之一。碎屑分类包括对粉末层的大多数干扰，这些干扰并非直接位于零件上方。图3c显示了几个碎屑示例。
图3 作者选择的六种不同粉层异常类型的代表性示例。注意，异常之间的相对大小已被保留。具体而言，异常情况包括：（a）复水跳跃，（b）复水条纹，（c）碎屑，（d）超高，（e）零件故障，以及（f）未完全铺展。 （a）设备设置示意图，（b）熔池红外图像和（c）Hu和Kovacevic进行的灰度分析。
Griffiths等人是最早研究使用红外成像进行粉末DED原位测量的人之一。红外热像仪用于评估使用LENS™工艺加工不锈钢316时看到的相对温度。使用光谱范围为3.6 mm至5 mm的320×244像素CCD阵列记录元件拍摄熔池图像，并将其与使用高速相机拍摄的图像进行比较，并使用标准热图技术获得温度。由于粉末DED制造部件的发射率数据未知，因此计算的所有温度都是相对的。输出图像显示熔池和通过传导加热的周围区域。相对于熔池的最高温度绘制了热剖面图。相反，胡和科瓦切维奇将近红外（NIR）相机与粉末输送速率传感器结合使用，用于在粉末DED加工过程中监控熔池。使用帧速率为800帧/秒的同轴红外成像相机以128×128像素的分辨率拍摄熔池区域的灰度图像。使用适当的滤光片来保护相机免受加工激光的损坏。还采用了大于700 nm的红外滤光片来提高图像质量。连接的PC执行上图（a）中概述的图像处理和控制步骤。使用灰度等温线（图（c））从红外图像（图（b））评估熔池中的温度分布。开发了用于热输入控制的闭环控制系统，使用实时控制（专门针对功能分级组件）提高了几何零件精度。
3.理论
这项工作是一种广泛使用的机器学习技术的应用，称为关键点，通常用于计算机视觉问题。与手动创建异常检测器相反，作者采用了机器学习方法，因为它具有内在的灵活性，并且有可能成为检测和分类多种异常类型的“一刀切”方法。本节旨在概述该技术，并描述其在增材制造中的应用。图4是粉末床监测算法这一部分的流程图，广泛引用。
图4 本工作中实现的机器学习过程流程图。
4.结果和讨论
由于这项工作没有得到外部资助，因此没有专门为这项研究创建测试工件。因此，通过审查三个案例研究的分析，利用CMU的EOS M290上执行的构建数据，得出结果。
4.1.算法性能
计算机视觉系统的目标是产生一个数字表示，其中包含表征视觉图像所需的相关信息。换句话说，要把一个图像变成一个向量，总结它的视觉信息内容。这个过程有三个步骤：首先，系统在图像中找到兴趣点或视觉特征;也就是说，它决定了要查看的内容。接下来，系统将每个特征编码为向量描述符;也就是说，它以数字方式表征了特征。最后，系统将特征描述符组合在一起，以创建整个图像的表示形式;也就是说，它决定了图像的微观结构指纹。该过程在下图中示意性地说明。
示意性结构示意图的 SIFT-VLAD 微观结构表示的构造。
通常使用一种称为混淆矩阵的度量来评估机器学习算法。通过在20张具有代表性的粉末床图像上手动标记数十万像素（带有异常分类）来确定基本事实。培训过程中没有包括任何具有代表性的粉末床图像；这种单独的数据集可以被视为类似于验证数据集。然后将每个像素处的这些地面真值标签与粉末床监测算法提供的标签进行比较。结果如图5和图6所示。随着分析了更多具有独特和异常丰富层的构建，可以更新混淆矩阵。
图5（左）：混淆矩阵，显示正确猜测的每个地面真相异常的百分比；标记为每种异常类型的像素的绝对数量显示在纵轴上的括号中。 图6（右）：一个混淆矩阵，显示了算法做出的正确异常猜测的百分比。这可以被视为衡量算法避免误报的程度。
4.2.Hamerschlag-Hall模型-分层和悬垂
在分析了每一层之后，每一层中每一异常分类的百分比可以显示为构建报告中构建高度的函数。图8显示了两个模型Hamerschlag Halls建筑的简化全球建造报告（图7）。异常检测峰值在多个层面可见；其中760层和1960层分别如图9和图10所示。
图7 CMU增材制造实验室所在地Hamerschlag Hall的CAD模型。其中的两个小比例尺模型是用Ti-6Al–4V制成的，放在一块模板上。 图8 一份全局构建报告，显示了在构建的每一层划分为超高和零件故障异常的像素数（基于CAD模型，以零件面积的百分比表示）。 图9 760层（建造板上方22.80 mm）。绿色像素显示该层零件的CAD轮廓。
图10 1960层（建造板上方58.80 mm）。绿色像素显示该层零件的CAD轮廓。
零件故障主要是在正确的Hamerschlag模型上检测到的，这与最终零件的后分析一致。这种差异在图11中特别明显；请注意，右侧型号的圆形大厅检测到的部件故障百分比很高。检测到大量零件故障的其他区域对应于这两种车型的开放式门道，这些门道代表了明显的突出部分，这些位置的最终零件质量明显较差。在图12中，观察到该构造存在大量不完全扩展异常。这是一个准确的观察结果，由于可用粉末不足，粉末剂量系数（从分配器（图1）每层中取出的粉末量）在此构建期间设置得很低。没有任何不完整的扩展异常延伸到包含Hamerschlag-Hall模型的构造板块区域。假设有足够的粉末供应，这种问题可以通过反馈控制系统进行纠正，该系统将增加粉末剂量系数，理想情况下，在任何部件受到负面影响之前。
图11热图显示了在每个像素处检测到部件故障的层（整个构建高度）的百分比。构建板上零件的位置显示为白色轮廓。
图12 热图显示了在每个像素处检测到不完全扩散异常的层的百分比（整个构建高度）。构建板上零件的位置显示为白色轮廓。
4.3.受拉钢筋− 建造高纵横比结构
Bettis海军核实验室用316L不锈钢制成多个拉伸杆，具有不同的方向和不同的支撑方案。图8显示了一份全球构建报告，其中包含关于整个粉末床的信息。在包含许多不同部分的构建中，这变得很难解释。图13、图16显示了仅包括与特定抗拉钢筋相关的异常检测的本地构建报告− 一个标本水平建造，另一个标本垂直建造。虽然图14和图17中的所有抗拉钢筋（23）和圆柱形见证试件（2）均为绿色轮廓，但所讨论的特定抗拉钢筋以红色框为界。
图13 水平定向拉伸钢筋的局部构建报告和垂直零件轮廓。 图14 （左）：注意在红色边界框内的第250层检测到的部件故障（洋红色）。绿色像素显示该层零件的CAD轮廓。
水平定向拉伸杆在量规截面下方使用最小支撑结构，以减少其对最终试样性能的影响。从图13可以明显看出，一旦零件从支撑材料过渡到拉伸杆本身，就会检测到重大零件故障（洋红色，图14）。这发生在构建高度的5 mm处，即层250。图13的下部子图（绿色）显示了位于拉伸杆本身顶部的红色边界框（图14）内的像素百分比，作为构建高度的函数。换句话说，较低的子图显示了在该层融合的有界区域的百分比。认识到这一百分比的增加代表悬挑区域，急剧增加意味着悬挑基本上没有支撑。据推断，支撑结构不足以承受水平定向抗拉钢筋所呈现的大量悬垂。因此，一旦重涂器叶片经过粉末床的该区域，撞击第一层拉伸杆（支架上方），就会发生零件故障。图15显示了竣工水平定向拉伸钢筋。
图15（右）竣工水平受拉钢筋。
从图16可以明显看出，垂直方向的拉伸钢筋在其大部分高度上都很好地构建，但在3524层周围突然检测到零件故障（洋红色）。这对应于从量规部分过渡到上夹钳部分的拉伸杆，在这段时间内会产生微妙的悬垂。根据图17、图18、图19，可以推测，未支撑的悬垂部分向上翘曲（由于残余热应力），足以受到复水器叶片的冲击。广泛的重摄器跳跃检测（垂直蓝绿色线）突出了这种影响。撞击导致拉伸杆弯曲，然后“弹回来”，将粉末扔掉，并在拉伸杆右侧留下粉末腔（白色碎片检测突出显示）。这个空洞阻碍了粉末在随后的层中正确覆盖该区域，使情况更加恶化。
图16 垂直定向拉伸钢筋的局部构建报告和垂直零件轮廓。 图17 （左）：注意在红色边界框内的3524层检测到的部件故障（洋红色）。绿色像素显示该层零件的CAD轮廓。
图18（中间）：垂直拉伸钢筋的3D渲染，零件故障以洋红色突出显示。
图19 （右）：带有可见缺陷的竣工垂直拉伸钢筋，由一个红色框包围。
4.4.叶轮叶片− 建立相对于重涂器刀片的几何方向
叶轮由316L不锈钢制成，以证明EOS M290的能力，并作为CMU的NextManufacturing行业培训计划的一部分。薄薄的叶轮叶片和20μm厚的层使该零件的成功制造成为一项挑战。
图20显示了竣工叶轮叶片。请注意，零件的一半正确构建，而另一半上的刀刃折叠。该算法用于确定部分构建失败的可能原因，并确定未来改进构建质量的任何潜在策略。 图20 用电火花线切割后的竣工叶轮，仅保留正确建造的一半。
虽然很明显，薄叶轮叶片由于与重涂器叶片的反复碰撞而发生故障，但最初不清楚是什么原因导致只有一半的叶轮叶片发生故障。
图21清楚地表明，叶轮的两半都出现了超高− 这表明，重涂器叶片可能会影响大多数叶轮叶片，包括许多未发生故障的叶片。图22突出显示了在建造过程中倒塌的叶轮叶片，请注意，只有前缘指向远离进入的二次冲洗器叶片方向的叶轮叶片（方向2）未能正确建造。
图21热图显示了在每个像素处检测到超高的层（整个构建高度）的百分比。白色盒子包围了正确建造的叶轮的一半。构建板上零件的位置显示为白色轮廓。
图22热图显示了在每个像素处检测到部件故障的层（整个构建高度）的百分比。白色盒子包围了正确建造的叶轮的一半。构建板上零件的位置显示为白色轮廓。
图片（a）数据可视化显示粉末显微照片SIFT-VLAD表示的前两个主要组成部分。（b）粉末显微照片 SIFT-VLAD 表示的 t-SNE 可视化。
上图a显示了粉末图像数据集的前两个主成分的PCA图;前两个主成分约占高维 SIFT-VLAD 表示总方差的 42%。值得注意的是，第一个主成分有效地区分了用于EOS机器的粉末（在PCA地图的左侧）和用于ARCAM机器的粉末（在PCA地图的右侧）。Ti64-#3显微照片在此数据集中具有最独特的SIFT-VLAD表示，很可能是因为Ti64-#3粉末是相对于其平均粒径以最高放大倍率成像的。这可能会导致一组不同的图像纹理特征主导这些显微照片（更细粒度的表面细节或更少的更高级别粒子组）。
5.结论
开发了一种算法，能够自动检测和分类与EOS LPBF机器中粉末撒布过程相关的后续异常。该算法是当代机器学习和计算机视觉技术在增材制造中的新应用。
在算法准备部署到实时现场监测环境之前，应提高其分类精度。理想情况下，它检测每个异常的能力应该增加，而不增加错误检测的概率；运营商可能不会使用在建议或应用对策方面过于激进的监控软件。更高分辨率的相机和额外的光源，相互垂直于当前光源和相机轴，可能是有益的。鉴于数据压缩算法的有效性，作者预计不会立即限制提高相机分辨率。作者强烈怀疑，通过实施深度学习来开发更有效的滤波器组，也可以提高精度（图4a）。作者将在不久的将来将该算法部署为实时粉末床监测工具。
来源：Anomaly detection and classification in a laser powder bed additive manufacturing process using a trained computer vision algorithm, Additive Manufacturing, doi.org/10.1016/j.addma.2017.11.009
参考文献：Roadmap for additive manufacturing: identifying the future of freeform processing
Solid Freeform Fabrication Proceedings, Austin, TX (2009)
http://wohlersassociates.com/roadmap2009A.pdf (Accessed 23, May 2017)
| 
京公网安备11010802043351