摘要：

針對化纖外觀缺陷檢測使用基于深度學(xué)習(xí)的語義分割方法，總結(jié)了自2014年以來基于深度學(xué)習(xí)的典型語義分割方法，并在此基礎(chǔ)上應(yīng)用到化纖外觀檢測項目上，取得了不錯的效果。

01 化纖外觀缺陷檢測背景

化纖作為紡織制造的原料，由化纖生產(chǎn)企業(yè)進(jìn)入下游紡織企業(yè)前會收卷形成絲餅，但在絲餅生產(chǎn)中會有不同程度的損傷，如產(chǎn)生油污、毛絲、絆絲、斷絲等表面缺陷，這些缺陷會直接造成下游紡織企業(yè)生產(chǎn)的產(chǎn)品質(zhì)量不高。油污會影響織物的外觀以及上色；毛絲會使織造效率降低，同時使織物表面產(chǎn)生瑕疵；絆絲不僅會影響化纖的包裝外觀，而且在化纖后續(xù)加工容易產(chǎn)生斷頭和毛絲；而斷絲則直接導(dǎo)致化纖的不連續(xù)。因此需要對化纖絲餅進(jìn)行影響織物質(zhì)量的表面缺陷檢測，以確保化纖出廠質(zhì)量。目前大部分生產(chǎn)廠家通過人工來檢測化纖外觀缺陷，既費時費力又不能保證質(zhì)量，使用機器視覺代替人工檢測對化纖生產(chǎn)企業(yè)是迫切需要的。

化纖外觀缺陷主要包括油污、碰毛、紙管破損、絆絲、毛絲、斷絲等，部分典型缺陷如圖1，這些缺陷大部分使用語義分割的方法來進(jìn)行。語義分割融合了圖像分割和目標(biāo)識別兩大技術(shù)，將圖像分割成幾組具有特定語義類別的區(qū)域，屬于像素級別的密集分類問題。早期一般使用直方圖閾值化、混合化特征空間聚類、區(qū)域生長法以及基于SVM的方法等進(jìn)行圖像目標(biāo)語義分割，這些方法受缺陷和圖像本身影響較大，導(dǎo)致漏檢和誤檢比較嚴(yán)重，如油污檢測中使用直方圖閾值化容易導(dǎo)致顏色較淡的油污漏檢，以及絲線紋理誤檢為油污。

圖1. 化纖外觀典型缺陷

02 基于深度學(xué)習(xí)的語義分割

深度學(xué)習(xí)的概念自2006年提出以來，因其在圖像分類、檢測等基礎(chǔ)領(lǐng)域的優(yōu)秀表現(xiàn)，取得了顯著的發(fā)展，特別是2012年Alex Krizhevsky等設(shè)計了AlexNet模型在ImageNet圖像分類挑戰(zhàn)賽上以領(lǐng)(ling)先第二名傳統(tǒng)方法10％的準(zhǔn)確率奪得冠(guan)軍，使得深度學(xué)習(xí)受到廣泛關(guān)注。此后，包括語義分割在內(nèi)的許多計算機視覺問題都開始使用深度學(xué)習(xí)算法，識別精度在部分領(lǐng)域甚至超過了人工識別精度。基于深度學(xué)習(xí)的語義分割，一般有基于*的方法、基于信息融合的方法、基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的方法以及基于對抗生成網(wǎng)絡(luò)的方法等。

2.1 基于*的方法

2014年，Shelhamer等提出了基于全卷積神經(jīng)網(wǎng)絡(luò)(FCN)的語義分割方法，F(xiàn)CN作為圖像語義分割的先河，實現(xiàn)像素級別的分類，為后續(xù)使用CNN作為基礎(chǔ)的圖像語義分割模型提供重要基礎(chǔ)。如圖2所示，它將CNN 中的全連接層替換為卷積層，建立全卷積網(wǎng)絡(luò)，輸入任意尺寸的圖像后，經(jīng)過學(xué)習(xí)以及處理產(chǎn)生相應(yīng)尺寸的輸出，然后對每個像素進(jìn)行分類，這個流程稱為編碼器；在分類完成后通過上采樣將分類結(jié)果映射到原圖像尺寸，得到密集的像素級別的標(biāo)簽，即語義分割結(jié)果，這部分流程被稱為*。FCN融合了多分辨率的信息，將不同大小的特征圖進(jìn)行上采樣并進(jìn)行融合，取得了較為精確的分割效果。

但是，F(xiàn)CN在解碼階段進(jìn)行上采樣時易丟失像素的位置信息而影響分割精度，如何巧妙設(shè)計*對分割結(jié)果至關(guān)重要，如2017年，由Badrinarayanan等提出的SegNet算法，SegNet的每個編碼器層都對應(yīng)一個*層，*的輸出被送入分類器獨立為每個像素產(chǎn)生類概率，特征圖中的空間位置能準(zhǔn)確地反映射到其初始位置，相較FCN能準(zhǔn)確地恢復(fù)圖像邊界信息，分割效果更好。

圖2. 全卷積神經(jīng)網(wǎng)絡(luò)(FCN)語義分割模型結(jié)構(gòu)

2.2 基于信息融合的方法

為了使語義分割效果更好，充分利用分割目標(biāo)的空間信息，于是對不同層次的信息進(jìn)行融合，一般來說有如下信息融合方式：像素級特征融合、多特征圖和多尺度融合。

圖3. 金字塔型空洞池化(ASPP)模塊

像素級特征融合方法中，如2014年，Google研究團(tuán)隊的Chen L C等提出DeepLab V1模型，該模型引入了條件隨機場(CRF) 作為后處理模塊，將圖像中每個像素與CRF模型中的某個節(jié)點一一對應(yīng)，衡量任意像素之間的聯(lián)(lian)系，實現(xiàn)底層圖像信息像素間的融合，實現(xiàn)了分割細(xì)節(jié)增強；2016年，DeepLab V２在DeepLab V1的基礎(chǔ)上引入了金字塔型空洞池化(ASPP)模塊，選擇不同采樣率的帶孔卷積處理特征圖，提高了分割精度；2017年，DeepLab V3在DeepLab V2的基礎(chǔ)上繼續(xù)優(yōu)化ASPP結(jié)構(gòu)，通過級聯(lián)多個空洞卷積結(jié)構(gòu)，有效地提取了表現(xiàn)力強的特征；2018年，DeepLab V3+把DeepLabv３作為編碼器，骨干網(wǎng)絡(luò)使用了Xception模型，提高了語義分割的健壯性和運行速率。

多特征圖和多尺度融合方法中，如2015年，Liu W等提出金字塔場景解析網(wǎng)絡(luò)（ParseNet）將全局特征圖轉(zhuǎn)化為與局部特征圖相同的尺寸，不同類型的處理模塊側(cè)重于激活的不同區(qū)域的特征圖，合并后輸入下一層或用于學(xué)習(xí)分類器，有效地利用了前面層所提供的上下文信息，取得了比FCN 跳躍結(jié)構(gòu)更好的分割效果。2020年，Ho Kei Cheng等提出CascadePSP，采用一幅圖像和多個不同尺度的不完美分割掩模來生成細(xì)化的分割，多尺度輸入使模型捕獲不同層次的結(jié)構(gòu)和邊界信息，自適應(yīng)地融合不同的掩模（mo）特征，所有低分辨率的輸入分段都被雙線性向上采樣到相同的大小，并與RGB圖像連接；CascadePSP是一種通用的級聯(lián)分割細(xì)化模型，它可以細(xì)化任何給定的輸入分割，在不進(jìn)行微調(diào)的情況下提高現(xiàn)有分割模型的性能。

2.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一種基于記憶的網(wǎng)絡(luò)模型，它從連續(xù)數(shù)據(jù)中學(xué)習(xí)長期依賴關(guān)系的能力和保持記憶的能力，具有周期性的連接和通過對圖像的長期語義依賴進(jìn)行建模來捕獲圖像中的上下文的能力，成功應(yīng)用于語義分割。如2015年，Visin F基于用于圖像分類的ReNet提出了ReSeg語義分割，該模型中每個ReNet層由4個RNN組成（水平、豎直掃描圖像），將激活信息或圖塊編碼并生成相應(yīng)的全局特征，ReNet層堆疊在預(yù)訓(xùn)練的卷積結(jié)構(gòu)上，生成一般局部特征，通過全局特征和局部特征上采樣得到分割圖。

2.4 基于對抗生成網(wǎng)絡(luò)的方法

2016年，Pauline Luc等在文獻(xiàn)《Semantic Segmentation using Adversarial Networks》*將對抗生成網(wǎng)絡(luò)（GAN）應(yīng)用到語義分割中，他們使用判別器識別真實標(biāo)簽與分割圖像，縮小標(biāo)簽與分割圖像之間的高次不一致性。該網(wǎng)絡(luò)模型由一個分割器（即普通的分割網(wǎng)絡(luò)模型）作為生(sheng)成器，其后添加一個判別網(wǎng)絡(luò)結(jié)構(gòu)，通過GAN 產(chǎn)生高質(zhì)量的生成圖像來改進(jìn)像素分類，該方法分割效果一般，是對抗生成網(wǎng)絡(luò)（GAN）應(yīng)用到語義分割一次有效的嘗試。后續(xù)基于對抗生成網(wǎng)絡(luò)的半監(jiān)督語義分割有一定發(fā)展，如2017年的《An Adversarial Regularisation for Semi-Supervised Training of Structured Output Neural Networks》。

03 語義分割對化纖外觀缺陷的檢測

漢振智能對化纖外觀缺陷中的油污、碰毛以及紙管破損進(jìn)行了分析，采用基于深度學(xué)習(xí)語義分割的方法，對正負(fù)缺陷樣本極不平衡的情況進(jìn)行了處理，設(shè)計了使用本項目的損失函數(shù)，同時對油污、碰毛以及紙管破損的特征進(jìn)行分析，對缺陷得到了較好的分割效果，得到了客戶的認(rèn)可，具體效果見圖4。

圖4. 化纖外觀缺陷檢測結(jié)果