基于深度学习的化纤外观缺陷语义分割

2022-09-18 20:00:00 精质视觉

　　针对化纤外观缺陷检测使用基于深度学习的语义分割方法，总结了自以来基于深度学习的典型语义分割方法，并在此基础上应用到化纤外观检测项目上，取得了不错的效果。

　　01 化纤外观缺陷检测背景

化纤作为纺织制造的原料，由化纤生产企业进入下游纺织企业前会收卷形成丝饼，但在丝饼生产中会有不同程度的损伤，如产生油污、毛丝、绊丝、断丝等表面缺陷，这些缺陷会直接造成下游纺织企业生产的产品质量不高。油污会影响织物的外观以及上色;毛丝会使织造效率降低，同时使织物表面产生瑕疵;绊丝不仅会影响化纤的包装外观，而且在化纤后续加工容易产生断头和毛丝;而断丝则直接导致化纤的不连续。因此需要对化纤丝饼进行影响织物质量的表面缺陷检测，以确保化纤出厂质量。目前大部分生产厂家通过人工来检测化纤外观缺陷，既费时费力又不能保证质量，使用机器视觉代替人工检测对化纤生产企业是迫切需要的。

　　化纤外观缺陷主要包括油污、碰毛、纸管破损、绊丝、毛丝、断丝等，部分典型缺陷如图1，这些缺陷大部分使用语义分割的方法来进行。语义分割融合了图像分割和目标识别两大技术，将图像分割成几组具有特定语义类别的区域，属于像素级别的密集分类问题。早期一般使用直方图阈值化、混合化特征空间聚类、区域生长法以及基于SVM的方法等进行图像目标语义分割，这些方法受缺陷和图像本身影响较大，导致漏检和误检比较严重，如油污检测中使用直方图阈值化容易导致颜色较淡的油污漏检，以及丝线纹理误检为油污。

　　图1. 化纤外观典型缺陷

　　02 基于深度学习的语义分割

　　深度学习的概念自2006年提出以来，因其在图像分类、检测等基础领域的优秀表现，取得了显著的发展，特别是2012年Alex Krizhevsky等设计了AlexNet模型在ImageNet图像分类挑战赛上以领(ling)先第二名传统方法10%的准确率夺得冠(guan)军，使得深度学习受到广泛关注。此后，包括语义分割在内的许多计算机视觉问题都开始使用深度学习算法，识别精度在部分领域甚至超过了人工识别精度。基于深度学习的语义分割，一般有基于*的方法、基于信息融合的方法、基于循环神经网络(RNN)的方法以及基于对抗生成网络的方法等。

　　2.1 基于*的方法

　　，Shelhamer等提出了基于全卷积神经网络(FCN)的语义分割方法，FCN作为图像语义分割的先河，实现像素级别的分类，为后续使用CNN作为基础的图像语义分割模型提供重要基础。如图2所示，它将CNN 中的全连接层替换为卷积层，建立全卷积网络，输入任意尺寸的图像后，经过学习以及处理产生相应尺寸的输出，然后对每个像素进行分类，这个流程称为编码器;在分类完成后通过上采样将分类结果映射到原图像尺寸，得到密集的像素级别的标签，即语义分割结果，这部分流程被称为*。FCN融合了多分辨率的信息，将不同大小的特征图进行上采样并进行融合，取得了较为精确的分割效果。

　　但是，FCN在解码阶段进行上采样时易丢失像素的位置信息而影响分割精度，如何巧妙设计*对分割结果至关重要，如2017年，由Badrinarayanan等提出的SegNet算法，SegNet的每个编码器层都对应一个*层，*的输出被送入分类器独立为每个像素产生类概率，特征图中的空间位置能准确地反映射到其初始位置，相较FCN能准确地恢复图像边界信息，分割效果更好。

　　图2. 全卷积神经网络(FCN)语义分割模型结构

　　2.2 基于信息融合的方法

　　为了使语义分割效果更好，充分利用分割目标的空间信息，于是对不同层次的信息进行融合，一般来说有如下信息融合方式：像素级特征融合、多特征图和多尺度融合。

　　图3. 金字塔型空洞池化(ASPP)模块

　　像素级特征融合方法中，如，Google研究团队的Chen L C等提出DeepLab V1模型，该模型引入了条件随机场(CRF) 作为后处理模块，将图像中每个像素与CRF模型中的某个节点一一对应，衡量任意像素之间的联(lian)系，实现底层图像信息像素间的融合，实现了分割细节增强;2016年，DeepLab V2在DeepLab V1的基础上引入了金字塔型空洞池化(ASPP)模块，选择不同采样率的带孔卷积处理特征图，提高了分割精度;2017年，DeepLab V3在DeepLab V2的基础上继续优化ASPP结构，通过级联多个空洞卷积结构，有效地提取了表现力强的特征;2018年，DeepLab V3+把DeepLabv3作为编码器，骨干网络使用了Xception模型，提高了语义分割的健壮性和运行速率。

　　多特征图和多尺度融合方法中，如2015年，Liu W等提出金字塔场景解析网络(ParseNet)将全局特征图转化为与局部特征图相同的尺寸，不同类型的处理模块侧重于激活的不同区域的特征图，合并后输入下一层或用于学习分类器，有效地利用了前面层所提供的上下文信息，取得了比FCN 跳跃结构更好的分割效果。2020年，Ho Kei Cheng等提出CascadePSP，采用一幅图像和多个不同尺度的不完美分割掩模来生成细化的分割，多尺度输入使模型捕获不同层次的结构和边界信息，自适应地融合不同的掩模(mo)特征，所有低分辨率的输入分段都被双线性向上采样到相同的大小，并与RGB图像连接;CascadePSP是一种通用的级联分割细化模型，它可以细化任何给定的输入分割，在不进行微调的情况下提高现有分割模型的性能。

　　2.3 基于循环神经网络的方法

　　循环神经网络(RNN)是一种基于记忆的网络模型，它从连续数据中学习长期依赖关系的能力和保持记忆的能力，具有周期性的连接和通过对图像的长期语义依赖进行建模来捕获图像中的上下文的能力，成功应用于语义分割。如2015年，Visin F基于用于图像分类的ReNet提出了ReSeg语义分割，该模型中每个ReNet层由4个RNN组成(水平、竖直扫描图像)，将激活信息或图块编码并生成相应的全局特征，ReNet层堆叠在预训练的卷积结构上，生成一般局部特征，通过全局特征和局部特征上采样得到分割图。

　　2.4 基于对抗生成网络的方法

　　2016年，Pauline Luc等在文献《Semantic Segmentation using Adversarial Networks》*将对抗生成网络(GAN)应用到语义分割中，他们使用判别器识别真实标签与分割图像，缩小标签与分割图像之间的高次不一致性。该网络模型由一个分割器(即普通的分割网络模型)作为生(sheng)成器，其后添加一个判别网络结构，通过GAN 产生高质量的生成图像来改进像素分类，该方法分割效果一般，是对抗生成网络(GAN)应用到语义分割一次有效的尝试。后续基于对抗生成网络的半监督语义分割有一定发展，如2017年的《An Adversarial Regularisation for Semi-Supervised Training of Structured Output Neural Networks》。

　　03 语义分割对化纤外观缺陷的检测

　　对化纤外观缺陷中的油污、碰毛以及纸管破损进行了分析，采用基于深度学习语义分割的方法，对正负缺陷样本极不平衡的情况进行了处理，设计了使用本项目的损失函数，同时对油污、碰毛以及纸管破损的特征进行分析，对缺陷得到了较好的分割效果，得到了客户的认可，具体效果见图4。