本文從算法工程師的角度總結(jié)視覺類表面缺陷檢測(cè)項(xiàng)目相關(guān)技術(shù)。

零、前言

做這個(gè)方向的項(xiàng)目也有一段時(shí)間了，作為算法工程師，主導(dǎo)的大大小小的項(xiàng)目也有幾個(gè)，有成功交付的，誠(chéng)然也有爛尾的�；仡櫿麄�(gè)項(xiàng)目流程，盡管經(jīng)歷酸甜苦辣，但收獲頗豐，估寫下此文當(dāng)成2023年終總結(jié)吧。

本文不僅僅涉及的是技術(shù)，也有一些對(duì)于項(xiàng)目管理，需求溝通的相關(guān)的內(nèi)容，算是自己的一點(diǎn)點(diǎn)感悟。

表面缺陷檢測(cè)項(xiàng)目，同事更多稱之為“質(zhì)檢項(xiàng)目”，我總覺得這個(gè)范圍太大了。盡管PPT里面寫的看著我們什么都能做，但是當(dāng)面對(duì)一些刁鉆需求時(shí)，實(shí)事求是地講我們還是做不了。

本文不會(huì)涉及太多技術(shù)細(xì)節(jié)相關(guān)的東西，主要是一些方法論。

一、任務(wù)定義

表面缺陷檢測(cè)任務(wù)是指通過(guò)對(duì)產(chǎn)品表面進(jìn)行仔細(xì)的檢查和評(píng)估，以發(fā)現(xiàn)和識(shí)別任何不符合質(zhì)量標(biāo)準(zhǔn)或設(shè)計(jì)要求的表面缺陷。這項(xiàng)任務(wù)的目的是確保產(chǎn)品的外觀質(zhì)量和功能性滿足預(yù)定的要求，從而提高產(chǎn)品的整體質(zhì)量和客戶滿意度。

表面缺陷檢測(cè)廣泛應(yīng)用于多個(gè)行業(yè)，以確保產(chǎn)品質(zhì)量符合標(biāo)準(zhǔn)，提升產(chǎn)品競(jìng)爭(zhēng)力。這其中包括

制造業(yè)：

汽車制造業(yè)：檢測(cè)車身、零部件等的表面缺陷。

航空工業(yè)：檢測(cè)飛機(jī)機(jī)身、零件等的表面缺陷。

機(jī)械加工：檢測(cè)機(jī)床床身、導(dǎo)軌等部件的表面缺陷。

電子行業(yè)：檢測(cè)電路板、手機(jī)殼體等產(chǎn)品的表面缺陷。

家用電器：檢測(cè)塑料外殼、金屬部件等的表面缺陷。

材料加工業(yè)：

鋼鐵行業(yè)：檢測(cè)鋼材表面的裂紋、折疊等缺陷。

有色金屬行業(yè)：檢測(cè)鋁、銅等金屬材料的表面缺陷。

陶瓷和玻璃行業(yè)：檢測(cè)陶瓷和玻璃產(chǎn)品的表面缺陷。

紡織品和服裝行業(yè)：

檢測(cè)紡織品的破損、污漬、顏色不均勻等表面缺陷。

檢查服裝紐扣、拉鏈等附件的表面缺陷。

食品和包裝行業(yè)：

檢測(cè)食品包裝袋、容器等的印刷質(zhì)量、漏印等表面缺陷。

檢查包裝材料的密封性、透明度等表面缺陷。

建筑行業(yè)：

檢測(cè)混凝土結(jié)構(gòu)表面的裂縫、蜂窩等缺陷。

檢查建筑材料如磚、石、木材等的表面缺陷。

能源行業(yè)：

檢測(cè)風(fēng)力發(fā)電機(jī)葉片、太陽(yáng)能電池板等的表面缺陷。

檢查石油、天然氣輸送管道的防腐層、焊縫等表面缺陷。

這些行業(yè)的表面缺陷檢測(cè)不僅關(guān)系到產(chǎn)品質(zhì)量，還可能影響到產(chǎn)品安全、耐用性和市場(chǎng)競(jìng)爭(zhēng)力。因此，通過(guò)嚴(yán)格的表面缺陷檢測(cè)，可以確保產(chǎn)品在設(shè)計(jì)、生產(chǎn)和使用過(guò)程中的安全和可靠性。

跟一個(gè)行業(yè)大佬聊過(guò)AOI行業(yè)，個(gè)人感覺AOI聚焦于電子器件的檢測(cè)：

AOI（Automated Optical Inspection，自動(dòng)光學(xué)檢測(cè)）是一種利用光學(xué)原理和自動(dòng)化技術(shù)對(duì)印刷電路板（PCB）或其他電子組件進(jìn)行表面缺陷檢測(cè)、尺寸測(cè)量、焊點(diǎn)檢查等的一種技術(shù)。AOI系統(tǒng)通常包括光源、光學(xué)鏡頭、圖像采集設(shè)備、數(shù)據(jù)分析軟件等組件。

二、需求溝通

由任務(wù)定義可知，這類項(xiàng)目是定制化的項(xiàng)目，且ToB為主。有些規(guī)則是行業(yè)里頭的，有些規(guī)則是工廠自己定義的。

前期的需求溝通主要以缺陷種類、缺陷的重要性為主。后面需要更進(jìn)一步討論質(zhì)量標(biāo)準(zhǔn)、檢測(cè)標(biāo)準(zhǔn)和評(píng)估可行性。

明確好缺陷種類后，還需要評(píng)估對(duì)于算法的要求，包括實(shí)時(shí)性、精度、檢測(cè)范圍等。此外在項(xiàng)目的立項(xiàng)階段，驗(yàn)收標(biāo)準(zhǔn)也需要確定好。

缺陷樣例的收集也是重中之重的工作，如果某類客戶要求必須做的缺陷比較難收集，需要評(píng)估是否可以人為造一些、通過(guò)算法造一些樣本或者評(píng)估下具體的收集時(shí)間是否滿足項(xiàng)目要求。比如實(shí)時(shí)性要求較高的時(shí)候，乙方就需要要求甲方購(gòu)買計(jì)算能力較好的硬件，或者計(jì)算卡的數(shù)量多一些也可以。精度一般存在于驗(yàn)收標(biāo)準(zhǔn)中，指標(biāo)的定義要明確清楚。

檢測(cè)范圍即檢測(cè)缺陷的種類有哪些，哪些允許漏檢，哪些至少檢出一個(gè)等。最常見也是最頭疼的是檢測(cè)“異物”，如果客戶定義是一個(gè)開放集合，就需要慎重考慮，因?yàn)槌Ｒ姷挠斜O(jiān)督目標(biāo)檢測(cè)深度學(xué)習(xí)的方法還做不到。如果客戶定義是一個(gè)閉集，那就需要統(tǒng)計(jì)一下每個(gè)"異物"種類缺陷的可收集樣本數(shù)量，重新按照新的缺陷類別進(jìn)行評(píng)定。

需要注意的是，這類項(xiàng)目再好的檢測(cè)算法，那也局限于檢測(cè)，不具有修復(fù)缺陷的功能，這在前期需求溝通時(shí)就需要對(duì)齊。

此外，發(fā)會(huì)議績(jī)效也是家常便飯，郵件留底是對(duì)甲方乙方領(lǐng)導(dǎo)都有交代。

三、成像方案

成像方案的選取取決于多種因素，包括被檢測(cè)物體的材質(zhì)、表面特性、所需的檢測(cè)精度、檢測(cè)速度以及成本等。以下是一些常見的成像方案：

光學(xué)顯微鏡成像：

適用于小尺寸缺陷的高分辨率成像，比如一些電路板檢測(cè)。

光學(xué)檢測(cè)成像系統(tǒng)（如CCD/CMOS相機(jī)）：

可以配合不同類型的光學(xué)鏡頭和光源使用，適用于多種表面缺陷檢測(cè)，常見的有鋼鐵表面缺陷檢測(cè)、布匹表面缺陷檢測(cè)。

紅外成像：

對(duì)熱特性的變化敏感，適用于檢測(cè)某些材料的熱缺陷。

紫外成像：

某些表面缺陷在紫外光下更為顯著，適用于特定材料的表面缺陷檢測(cè)。

激光掃描成像：

通過(guò)激光掃描器逐點(diǎn)掃描物體表面，再通過(guò)傳感器收集數(shù)據(jù)，適用于大型物體的高精度檢測(cè)。

超聲波成像：

通過(guò)超聲波在材料中的傳播特性來(lái)檢測(cè)內(nèi)部和表面的缺陷。

從算法工程師角度，我們往往關(guān)注于整個(gè)系統(tǒng)的節(jié)拍和成像的耗時(shí)（工控機(jī)最終得到單個(gè)完整圖片的時(shí)間），以及最后的圖像是單通道的還是多通道的，是2D檢測(cè)還是三維檢測(cè)。

成像還需要注意兩點(diǎn)：

一定要求驗(yàn)證環(huán)節(jié)，確保每一類缺陷都可以拍的到，且比較好區(qū)分，不受正常區(qū)域影響。后續(xù)改成像成本很大，牽一發(fā)而動(dòng)全身。

成像方案要確�？蛇w移性，即在驗(yàn)證階段搭的實(shí)驗(yàn)條件下的成像效果，在正式投入使用時(shí)依然可以保證原來(lái)極為接近的成像效果。

四、缺陷收集和對(duì)齊

缺陷圖片的收集是一個(gè)體力活，主要分為兩種方式：

人工收集：依賴于甲方客戶工人師傅收集樣本，然后乙方或者甲方派人人工進(jìn)行照片取樣。

半人工收集加自動(dòng)采集：這種收集方式常見于鋼板和布匹紡織品缺陷檢測(cè)領(lǐng)域，這類任務(wù)有一個(gè)重要的特點(diǎn)是攝像頭拍攝的每張圖像在空間上對(duì)齊的，即每一處位置在圖片上的語(yǔ)義不會(huì)變。這種特征保證了可以采用一些半監(jiān)督或者無(wú)監(jiān)督的異常檢測(cè)方法來(lái)從收集的大量正常樣本中獲取到異常樣本。后續(xù)還需要收集固定類別的樣本，比如劃傷、裂紋等，這個(gè)時(shí)候就需要人工訓(xùn)練一個(gè)CNN分類模型來(lái)對(duì)缺陷樣本進(jìn)行細(xì)粒度的分類。

缺陷對(duì)齊環(huán)節(jié)在需求溝通階段已經(jīng)有綱要了，在缺陷對(duì)齊環(huán)節(jié)更多的是對(duì)齊細(xì)節(jié)，這個(gè)時(shí)候就要確定缺陷的標(biāo)注問題了，是標(biāo)框還是標(biāo)像素點(diǎn)，框是外接矩形框還是旋轉(zhuǎn)矩形框，這需要根據(jù)客戶需求、缺陷描述準(zhǔn)確性、算法實(shí)現(xiàn)難易程度綜合考慮。

五、整體推理服務(wù)框架

表面缺陷檢測(cè)算法常常以目標(biāo)檢測(cè)算法來(lái)實(shí)現(xiàn)，它有著輸入圖片較大、實(shí)時(shí)性要求高的特點(diǎn)。

表面缺陷檢測(cè)算法的框架個(gè)人總結(jié)如下：

大圖預(yù)處理：對(duì)于大圖的預(yù)處理包括去除非檢測(cè)區(qū)域以及特定異常的分類，這些一般可以手寫一些特征來(lái)處理（比如去黑邊），有時(shí)也需要訓(xùn)練一些模型來(lái)處理（比如對(duì)于大圖特定缺陷的分類），還有是需要提取一些檢測(cè)區(qū)域（ROI區(qū)域，Region of Interesting）

大圖上的缺陷檢測(cè)：有些缺陷在大圖上容易定位特征比較明顯，可以放在大圖中去檢測(cè)。需要注意的是，在大圖上做缺陷檢測(cè)是耗費(fèi)總體時(shí)長(zhǎng)的，所以后續(xù)步驟如果需要在小圖上做檢測(cè)，那么從整體系統(tǒng)延遲角度考慮，大圖的檢測(cè)盡量還是放到小圖上、

根據(jù)ROI區(qū)域切小圖：有ROI區(qū)域就根據(jù)ROI區(qū)域坐標(biāo)切，這里有兩個(gè)超參數(shù)，即小圖切多大和stride是多少，這些可以根據(jù)檢測(cè)精度要求、系統(tǒng)延遲要求和小圖目標(biāo)檢測(cè)器的輸入圖片大小來(lái)判定。

小圖預(yù)處理：對(duì)于小圖預(yù)處理的包括對(duì)于小圖異常的分類判定，在一個(gè)正常的檢測(cè)流程中，正常樣本占大多數(shù)，這樣一個(gè)耗時(shí)較小的分類器可以擋掉后續(xù)大圖分正常小圖的目標(biāo)檢測(cè)。

小圖上的目標(biāo)檢測(cè)：小圖的目標(biāo)檢測(cè)以識(shí)別小目標(biāo)為主，即在大圖上是在檢索不到的，一般在7x7像素至30x30像素之間，小目標(biāo)的檢測(cè)是一個(gè)難題，但在工業(yè)界提升精度并保證推理速度最快的方式就是加數(shù)據(jù)和堆卡，至于模型的選型，自然是滿足推理時(shí)延范圍內(nèi)選精度比較高且其他方面相對(duì)合適的。

檢測(cè)結(jié)果合并：最后結(jié)果的輸出需要合并小圖和大圖的檢測(cè)結(jié)果，包括將小圖檢測(cè)坐標(biāo)還原到大圖位置，以及檢測(cè)結(jié)果目標(biāo)框的合并（切小圖時(shí)候有overlap導(dǎo)致）

六、模型訓(xùn)練和調(diào)優(yōu)迭代

模型的訓(xùn)練和調(diào)優(yōu)主要包括以下幾個(gè)過(guò)程：

數(shù)據(jù)預(yù)處理：這是模型訓(xùn)練的第一步，包括收集數(shù)據(jù)、清洗數(shù)據(jù)、處理缺失值、數(shù)據(jù)標(biāo)準(zhǔn)化或歸一化、特征選擇和特征工程等。目的是將原始數(shù)據(jù)轉(zhuǎn)換成適合模型訓(xùn)練的形式。

選擇模型：滿足小數(shù)據(jù)就用小模型，大數(shù)據(jù)就用大模型。簡(jiǎn)單任務(wù)就用小模型，復(fù)雜任務(wù)考慮大模型或者小模型組合。比如ROI區(qū)域檢測(cè)有一些小的檢測(cè)模型足以，檢測(cè)小目標(biāo)的模型small量級(jí)能滿足要求用就好，不需要?jiǎng)硬粍?dòng)就transformer、大模型，盡管它很火。

訓(xùn)練模型：使用已標(biāo)記的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，調(diào)個(gè)幾次參數(shù)足以，我個(gè)人一般將學(xué)習(xí)率設(shè)置為原來(lái)的0.1，然后加載預(yù)訓(xùn)練參數(shù)，其余保持一致。當(dāng)然時(shí)間充裕的時(shí)候我也有過(guò)創(chuàng)新，下面章節(jié)會(huì)說(shuō)到。

模型評(píng)估：使用驗(yàn)證集或測(cè)試集評(píng)估模型的性能。常見的評(píng)估指標(biāo)有準(zhǔn)確率、召回率、F1分?jǐn)?shù)、mAP等。

調(diào)優(yōu)模型：根據(jù)模型評(píng)估的結(jié)果，對(duì)數(shù)據(jù)進(jìn)行調(diào)整。注意是數(shù)據(jù)，經(jīng)過(guò)學(xué)術(shù)界驗(yàn)證的論文，一般不會(huì)對(duì)模型進(jìn)行魔改，除非任務(wù)特殊。指標(biāo)低一般就是數(shù)據(jù)的問題，找標(biāo)注人力修數(shù)據(jù)就好。

在模型訓(xùn)練和過(guò)程中，我一般基于一些框架寫一些適配的小工具，比如

獲取每一個(gè)缺陷類別的檢測(cè)指標(biāo)

可視化數(shù)據(jù)集標(biāo)注

可視化模型預(yù)測(cè)

模型預(yù)測(cè)轉(zhuǎn)換為預(yù)標(biāo)注，給一些數(shù)據(jù)打偽標(biāo)簽

獲取badbase和原始標(biāo)注，方便標(biāo)注人員修復(fù)

最佳分類閾值搜索

常用的應(yīng)該如上面所示，個(gè)人更習(xí)慣于打造工具的可復(fù)用性，所以一些簡(jiǎn)單的需求我還是會(huì)寫一寫腳本嵌套到模型檢測(cè)訓(xùn)練框架當(dāng)中工具化。

七、模型部署

模型部署是將訓(xùn)練好的模型轉(zhuǎn)化為實(shí)際可用服務(wù)的過(guò)程。模型部署包括以下幾個(gè)主要工作內(nèi)容：

環(huán)境配置：為模型部署準(zhǔn)備合適的環(huán)境，包括硬件資源（如CPU/GPU、內(nèi)存、存儲(chǔ)等）、操作系統(tǒng)、依賴庫(kù)和框架等，一般這些都是供應(yīng)商準(zhǔn)備，算法工程師將所有服務(wù)打包到docker當(dāng)中即可。

模型轉(zhuǎn)換：將訓(xùn)練好的模型轉(zhuǎn)換為適合部署的格式。這可能包括將模型轉(zhuǎn)換為特定的格式（最常見的即ONNX），或者將模型的代碼優(yōu)化以提高推理速度。

服務(wù)構(gòu)建：將模型集成到服務(wù)器或應(yīng)用程序中，以便可以對(duì)其進(jìn)行遠(yuǎn)程調(diào)用。這通常涉及到編寫API接口代碼，以及創(chuàng)建相應(yīng)的服務(wù)架構(gòu)，如微服務(wù)、RESTful API等。

性能優(yōu)化：確保模型在部署后能夠高效運(yùn)行。這可能包括對(duì)模型進(jìn)行壓縮、量化，或者對(duì)服務(wù)架構(gòu)進(jìn)行優(yōu)化，以降低延遲和提高吞吐量。

測(cè)試：在部署前后進(jìn)行全面的測(cè)試，確保模型的功能和性能都符合預(yù)期。一般需要找測(cè)試的同事測(cè)試一下并給出測(cè)試報(bào)告。

監(jiān)控：部署監(jiān)控系統(tǒng)來(lái)跟蹤模型的性能，包括準(zhǔn)確率、響應(yīng)時(shí)間、資源消耗等指標(biāo)。對(duì)于部署系統(tǒng)的準(zhǔn)確率和資源消耗壓測(cè)是必不可少的環(huán)節(jié)，這涉及到服務(wù)的可用性。

日志記錄和錯(cuò)誤處理：配置日志記錄系統(tǒng)，以便在模型出現(xiàn)問題時(shí)可以追蹤和分析。同時(shí)，實(shí)現(xiàn)錯(cuò)誤處理機(jī)制，以便在出現(xiàn)異常時(shí)能夠給出適當(dāng)?shù)姆答伝蚪鉀Q方案。

文檔和培訓(xùn)：為使用模型的人員提供必要的文檔和培訓(xùn)，確保他們了解如何正確地使用模型和服務(wù)。

安全性和合規(guī)性：確保模型的部署符合數(shù)據(jù)安全和隱私保護(hù)的法規(guī)要求，包括數(shù)據(jù)加密、模型加密、用戶身份驗(yàn)證、訪問控制等。

部署服務(wù)架構(gòu)的優(yōu)化體現(xiàn)在如下原則：

充分采用加速卡GPU/NPU硬件資源，比如對(duì)輸入視頻或者圖片盡量采用硬解碼的形式，采用硬解碼后的輸出顯然是放在顯存上，這樣后續(xù)的預(yù)處理就不需要過(guò)CPU，對(duì)于輸入數(shù)據(jù)的預(yù)處理也盡可能放到加速卡上去做。

模型并行策略：比如在切小圖后，對(duì)多個(gè)小圖放到不同的計(jì)算卡上去推理，充分利用多卡推理資源。這里就涉及到負(fù)載均衡技術(shù)，比如如何將計(jì)算負(fù)責(zé)合理地分發(fā)到不同的計(jì)算設(shè)備上，我的個(gè)人博客當(dāng)中有《對(duì)單機(jī)多卡AI模型推理場(chǎng)景下計(jì)算資源分配問題的思考》這篇文章，歡迎大家去閱讀。

服務(wù)并行策略：運(yùn)行多個(gè)推理服務(wù)，采用nginx代理方式，對(duì)外提供一個(gè)接口，提升服務(wù)穩(wěn)健性和并發(fā)度。

八、一些節(jié)省推理延遲的trick

圖像輸入大小
圖像輸入不一定非得是正方形，可以按照等比例壓縮，比如原來(lái)圖像的寬高比是4：1，那么在訓(xùn)練分類或者檢測(cè)模型時(shí)，保持4:1寬高比即可，這樣既可以滿足性能要求也可以極大降低節(jié)省推理時(shí)間。

輸入通道大小
灰度圖的通道數(shù)為1，不需要為了滿足模型要求輸入，在channel維度上再?gòu)?fù)制兩分，我們可以通過(guò)改模型的方式將模型輸入通道數(shù)修改為1且不影響加載預(yù)訓(xùn)練，歡迎閱讀我的博客中的其他文章《灰度圖分類采用Imagenet預(yù)訓(xùn)練時(shí)卷積核壓縮Trick》

模型量化
目前對(duì)于檢測(cè)模型和分類模型的8bit量化方案已經(jīng)很成熟，如果優(yōu)化后依然不能滿足系統(tǒng)延遲要求可以考慮量化模型。

九、后續(xù)運(yùn)維

表面缺陷檢測(cè)是制造業(yè)中的一項(xiàng)重要質(zhì)量控制工作，在服務(wù)有效期內(nèi)，有必要對(duì)軟件服務(wù)進(jìn)行運(yùn)維。

后續(xù)運(yùn)維工作主要包括以下幾個(gè)方面：

數(shù)據(jù)管理與分析：收集和存儲(chǔ)檢測(cè)數(shù)據(jù)，進(jìn)行定期分析，以優(yōu)化檢測(cè)流程和提高檢測(cè)效率。這可能涉及到使用專業(yè)的數(shù)據(jù)分析軟件，對(duì)檢測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)和分析。

交付人員培訓(xùn)：對(duì)交付人員進(jìn)行培訓(xùn)，包括模型的升級(jí)策略、bad case數(shù)據(jù)收集，模型服務(wù)的部署等內(nèi)容。

故障應(yīng)對(duì)與反饋：在檢測(cè)過(guò)程中，如果發(fā)現(xiàn)檢測(cè)服務(wù)存在問題，需要迅速應(yīng)對(duì)，找出原因并進(jìn)行修復(fù)。同時(shí)，將問題及解決方案記錄下來(lái)，以便未來(lái)避免類似問題的發(fā)生。