苛刻的機(jī)器視覺(jué)應(yīng)用越來(lái)越依賴(lài)于更復(fù)雜的組件和系統(tǒng)的設(shè)計(jì)，規(guī)范和集成，以獲得成功和可靠的性能。

近年來(lái)，機(jī)器視覺(jué)行業(yè)的快速增長(zhǎng)部分得益于機(jī)器視覺(jué)技術(shù)和組件的持續(xù)發(fā)展。機(jī)器視覺(jué)應(yīng)用程序的總體成功無(wú)疑與勝任的系統(tǒng)集成緊密相關(guān)–對(duì)任務(wù)的組件的分析、規(guī)范、設(shè)計(jì)和實(shí)現(xiàn)至關(guān)重要。在本次討論中，我們將回顧機(jī)器視覺(jué)系統(tǒng)集成，并介紹機(jī)器視覺(jué)行業(yè)中一些重要的技術(shù)，如3D成像、彩色成像、深度學(xué)習(xí)和線掃描成像儀以及一些實(shí)用信息，以幫助您在檢測(cè)、測(cè)量和指導(dǎo)應(yīng)用中成功合并和實(shí)施它們。

獲取和處理簡(jiǎn)單灰度圖像的組件無(wú)疑在當(dāng)今市場(chǎng)中占據(jù)機(jī)器視覺(jué)應(yīng)用基礎(chǔ)主導(dǎo)地位。當(dāng)然，這些設(shè)備非?？煽?、易于使用，并且適用于各種檢查、指導(dǎo)和計(jì)量項(xiàng)目。但是，還有其他可用的技術(shù)可以更好地適用于某些應(yīng)用，并且對(duì)某些應(yīng)用來(lái)說(shuō)是唯一合適的解決方案。在所有情況下，都應(yīng)遵循基本的集成概念，以確保實(shí)現(xiàn)設(shè)計(jì)最佳的機(jī)器視覺(jué)解決方案。

考慮到這一點(diǎn)，讓我們從簡(jiǎn)要回顧系統(tǒng)集成最佳實(shí)踐開(kāi)始，然后討論如何應(yīng)用和集成一些超越基本灰度區(qū)域相機(jī)的關(guān)鍵機(jī)器視覺(jué)技術(shù)。

回顧機(jī)器視覺(jué)系統(tǒng)集成的最佳實(shí)踐

雖然這些指南對(duì)于機(jī)器視覺(jué)項(xiàng)目至關(guān)重要，但它們可以應(yīng)用于各種學(xué)科的任何自動(dòng)化項(xiàng)目中。修改基本概念以最好地滿足您的需求。

開(kāi)發(fā)和使用正式的應(yīng)用程序分析文檔

分析并記錄現(xiàn)有操作，流程或自動(dòng)化的需求，并收集與目標(biāo)應(yīng)用程序，部件和產(chǎn)品相關(guān)的所有詳細(xì)信息。

記錄項(xiàng)目規(guī)范

確定系統(tǒng)要執(zhí)行的功能和操作（檢查，指導(dǎo)，測(cè)量等）以及相關(guān)的性能指標(biāo)。詳細(xì)說(shuō)明將支持所提議系統(tǒng)的技術(shù)以及潛在的系統(tǒng)限制和例外。

專(zhuān)注于“關(guān)鍵路徑”組件

機(jī)器視覺(jué)系統(tǒng)通常是“關(guān)鍵路徑”組件，如果它無(wú)法在系統(tǒng)中按需執(zhí)行，則可能會(huì)阻礙整個(gè)項(xiàng)目的整體運(yùn)行，圍繞關(guān)鍵組件的功能設(shè)計(jì)系統(tǒng)非常重要。

有一個(gè)集成或項(xiàng)目計(jì)劃和有組織的任務(wù)列表

使用項(xiàng)目管理軟件工具使項(xiàng)目保持正常運(yùn)行，但一定要確定任務(wù)的細(xì)節(jié)，而不僅僅是時(shí)間表。制定實(shí)施和配置系統(tǒng)中機(jī)器視覺(jué)、自動(dòng)化、用戶(hù)界面和其他組件的開(kāi)發(fā)指南，經(jīng)常進(jìn)行測(cè)試。

管理項(xiàng)目

沒(méi)有軟件工具可以代替良好的項(xiàng)目管理，技術(shù)項(xiàng)目確實(shí)需要管理。項(xiàng)目團(tuán)隊(duì)，銷(xiāo)售，管理層和客戶(hù)之間的良好溝通有助于確保項(xiàng)目成功實(shí)施。

安裝–優(yōu)化，而非設(shè)計(jì)

雖然有些情況下必須在線安裝后進(jìn)行一些成像、處理或程序開(kāi)發(fā)，但這應(yīng)該是例外而不是常態(tài)。在最終安裝之前，經(jīng)過(guò)有效的測(cè)試和驗(yàn)證，是成功實(shí)施項(xiàng)目的關(guān)鍵。

擁有并使用驗(yàn)證計(jì)劃

始終擁有并使用書(shū)面驗(yàn)證計(jì)劃來(lái)量化系統(tǒng)性能。該文檔應(yīng)概述功能和操作標(biāo)準(zhǔn)以及指示系統(tǒng)符合規(guī)范的指標(biāo)。

關(guān)鍵機(jī)器視覺(jué)技術(shù)的應(yīng)用

對(duì)于機(jī)器視覺(jué)系統(tǒng)架構(gòu)師來(lái)說(shuō)，有更多可行的組件選擇可供考慮并應(yīng)用于各種應(yīng)用的成功集成。并非所有技術(shù)都是新技術(shù)，但設(shè)備和軟件的改進(jìn)有助于使組件更廣泛適用并更易于集成。在這里，我們將描述一些超越基本灰度相機(jī)的一般技術(shù)類(lèi)別，以及將它們整合到成功的機(jī)器視覺(jué)解決方案中的一些方法。

線掃描成像

線掃描指的是成像設(shè)備沒(méi)有一次拍攝快照（“區(qū)域”成像）的事實(shí)。該設(shè)備僅捕獲圖像信息的薄“切片”或單個(gè)“線”，并且處理該線性數(shù)據(jù)（不常見(jiàn)）或?qū)⒃S多行組合成標(biāo)準(zhǔn)圖像的連續(xù)行以供后續(xù)處理。換言之講對(duì)象或相機(jī)必須移動(dòng)才能創(chuàng)建圖像。

在可以適當(dāng)集成的情況下，線掃描成像與區(qū)域成像相比具有許多重要的優(yōu)點(diǎn)。今天的線掃描相機(jī)具有寬度范圍從大約0.5K像素到超過(guò)16K像素的傳感器（行數(shù)可變，這取決于為得到的圖像選擇了多少行）。得到的組合圖像在像素?cái)?shù)方面可以產(chǎn)生比區(qū)域相機(jī)更高的分辨率，并且可能以更低的成本。因?yàn)榫€掃描成像一次僅捕獲對(duì)象的單個(gè)線性“切片”，所以該技術(shù)可以在區(qū)域相機(jī)不能的某些情況下產(chǎn)生非常一致的圖像。以圓柱形物體為例（例如，飲料罐或類(lèi)似容器）。通過(guò)對(duì)圓柱體的圓周的小切片進(jìn)行成像，可以再現(xiàn)圓柱體表面的非常空間精確的表示，由于圓柱體的曲率的透視，對(duì)于區(qū)域圖像是不可能的。在一些實(shí)施方案中，線掃描成像可產(chǎn)生比使用區(qū)域相機(jī)成像更快的處理時(shí)間。高速線掃描相機(jī)可以以超過(guò)120khz的速率捕獲圖像的每一行（幀速率根據(jù)相機(jī)和接口類(lèi)型而變化）。

在許多情況下，3D成像提供了標(biāo)準(zhǔn)2D灰度成像技術(shù)所不具備的有用數(shù)據(jù)，包括深度和輪廓信息。

考慮到必須照亮單行像素，線掃描應(yīng)用的照明可以比區(qū)域相機(jī)更簡(jiǎn)單。通常，線性光源（前照明或后照明）是使用線掃描相機(jī)獲得合適圖像所需的全部。但是，請(qǐng)注意，使用線掃描可能無(wú)法始終實(shí)現(xiàn)一些有益于區(qū)域相機(jī)的照明技術(shù)。

用于線掃描應(yīng)用的光學(xué)（透鏡）通常是最大的集成挑戰(zhàn)。在線性像素寬度大于2K（取決于像素大?。r(shí)，通常標(biāo)準(zhǔn)的，熟悉的C-mount鏡頭不能與相機(jī)一起使用，并且必須指定F-mount或甚至更專(zhuān)業(yè)的鏡頭。在某些情況下，用于線掃描相機(jī)的鏡頭組件可能非常大并且需要專(zhuān)門(mén)的安裝。

集成線掃描相機(jī)通常需要使用編碼器以適當(dāng)?shù)目臻g間隔觸發(fā)線。相對(duì)于移動(dòng)的精確脈沖定時(shí)的配置取決于諸如像素空間分辨率，運(yùn)動(dòng)速度和幀速率的度量。幸運(yùn)的是，相機(jī)和相機(jī)軟件的進(jìn)步有助于使配置更加用戶(hù)友好。

3D成像

許多應(yīng)用程序可以從3D空間中出現(xiàn)的對(duì)象和特征的識(shí)別或表現(xiàn)中受益。在過(guò)去幾年中，用于關(guān)鍵機(jī)器視覺(jué)應(yīng)用（如檢查，缺陷分析，計(jì)量和機(jī)器人引導(dǎo)）的3D成像系統(tǒng)的可用性和種類(lèi)顯著增長(zhǎng)。實(shí)際上，使用3D技術(shù)成功地實(shí)現(xiàn)了使用灰度成像無(wú)法可靠地解決的某些應(yīng)用。

3D成像的關(guān)鍵價(jià)值在于，所有圖像信息都代表空間中的實(shí)際點(diǎn)，而不是像2D成像那樣的灰度或顏色強(qiáng)度值。這些點(diǎn)可以校準(zhǔn)到某些已知的世界坐標(biāo)系（例如，當(dāng)信息用于指導(dǎo)時(shí)），或者簡(jiǎn)單地相對(duì)于彼此進(jìn)行分析以提取特征，缺陷和執(zhí)行3D測(cè)量。請(qǐng)注意，3D系統(tǒng)提供相機(jī)查看的表面“輪廓”。

在描述如何選擇組件時(shí)，它可以幫助在應(yīng)用程序類(lèi)別中考慮3D技術(shù)。

測(cè)量和缺陷檢測(cè)

許多用于計(jì)量和缺陷檢測(cè)的3D成像系統(tǒng)使用掃描和激光三角測(cè)量（有時(shí)稱(chēng)為距離或深度傳感器）來(lái)構(gòu)成圖像。這些系統(tǒng)可以提供比其他3D成像技術(shù)更高的精度，盡管這些組件具有稍微有限的視野，并且確實(shí)需要傳感器或部件處于運(yùn)動(dòng)中以捕獲圖像。通常提供的成像工具和算法旨在評(píng)估3D特征，并提供包括深度和有時(shí)位置的測(cè)量。

指導(dǎo)和對(duì)象定位或識(shí)別

其他3D系統(tǒng)主要關(guān)注指導(dǎo)，定位和/或識(shí)別的應(yīng)用。此類(lèi)別中的某些組件也使用3D激光掃描，而其他組件則使用各種涉及結(jié)構(gòu)照明的技術(shù)來(lái)收集3D點(diǎn)。對(duì)于后者，優(yōu)點(diǎn)是成像器在沒(méi)有相機(jī)或部件運(yùn)動(dòng)的情況下拍攝單個(gè)快照。這些系統(tǒng)返回的圖像可以是像距離傳感器一樣的深度圖像，也可以是稱(chēng)為“點(diǎn)云”的3D映射點(diǎn)的集合。這些系統(tǒng)中的軟件通過(guò)組合相鄰點(diǎn)以各種方式定位指導(dǎo)和位置任務(wù)并提取幾何特征。這些特征可能是簡(jiǎn)單的定位點(diǎn)，甚至是用CAD數(shù)據(jù)定義的對(duì)象的3D空間匹配。在實(shí)現(xiàn)中，系統(tǒng)通?？梢远ㄎ痪哂辛己每煽啃缘碾S機(jī)定向的已知和未混合部分，然而隨機(jī)混合部分或?qū)ο蟮淖R(shí)別和定位是極其困難的任務(wù)，對(duì)于許多應(yīng)用而言仍然是研究工作。

CAD重建

一些3D成像系統(tǒng)專(zhuān)門(mén)設(shè)計(jì)用于掃描對(duì)象和捕獲表面數(shù)據(jù)，以便將該數(shù)據(jù)轉(zhuǎn)換為3DCAD模型以進(jìn)行進(jìn)一步處理。這些是高度專(zhuān)業(yè)化的系統(tǒng)，可以很好地執(zhí)行重建任務(wù)，但不能考慮用于其他任務(wù)。

深度學(xué)習(xí)

也許機(jī)器視覺(jué)行業(yè)最熱門(mén)的流行語(yǔ)現(xiàn)在是“深度學(xué)習(xí)”。用稱(chēng)為“神經(jīng)網(wǎng)絡(luò)”的軟件算法方法實(shí)現(xiàn)的機(jī)器學(xué)習(xí)已存在多年。深度學(xué)習(xí)是該技術(shù)的最新擴(kuò)展，專(zhuān)門(mén)結(jié)合了稱(chēng)為卷積神經(jīng)網(wǎng)絡(luò)或CNN的網(wǎng)絡(luò)層。該技術(shù)的簡(jiǎn)單描述是它通過(guò)示例對(duì)圖像進(jìn)行分類(lèi)，學(xué)習(xí)這些分類(lèi)。（想想谷歌的圖像搜索功能;你可以上傳貓的照片，而“人工智能”會(huì)將它歸類(lèi)為貓，甚至可能知道該品種。）

大多數(shù)計(jì)算機(jī)編程愛(ài)好者都可以理解最基本的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)。然而，機(jī)器視覺(jué)集成商尋求使用不斷增長(zhǎng)的產(chǎn)品和庫(kù)提供機(jī)器視覺(jué)深度學(xué)習(xí)功能來(lái)實(shí)現(xiàn)技術(shù)，因此不需要了解深度學(xué)習(xí)的工作原理。深度學(xué)習(xí)機(jī)器視覺(jué)的整合幾乎只是一個(gè)“展示和走向”的過(guò)程。

盡管如此，深度學(xué)習(xí)并不適合所有應(yīng)用。此外，集成中的關(guān)鍵細(xì)節(jié)仍然是純粹的成像任務(wù)。深度學(xué)習(xí)非常有用的應(yīng)用是需要主觀分類(lèi)的應(yīng)用，例如檢測(cè)缺陷或不符合特征有些主觀的不合格部分，并且可以很好地定義標(biāo)稱(chēng)良好部分（即使好的部分有一些固有的變化）。通常不能很好地指出深度學(xué)習(xí)的是需要離散分析，計(jì)量或定位的應(yīng)用。有些應(yīng)用可以通過(guò)標(biāo)準(zhǔn)機(jī)器視覺(jué)，3D成像，彩色成像或深度學(xué)習(xí)來(lái)勝任解決，在這些情況下，必須權(quán)衡集成和配置成本和技術(shù)。

許多考慮深度學(xué)習(xí)的錯(cuò)誤是認(rèn)為該技術(shù)自動(dòng)克服了照明，零件展示和光學(xué)等集成考慮因素。從這個(gè)意義上講，深度學(xué)習(xí)的成像與所有機(jī)器視覺(jué)應(yīng)用相同：對(duì)象，缺陷或其他感興趣的特征必須在對(duì)比度和足夠的像素分辨率方面與其他部分區(qū)分開(kāi)來(lái)，并且必須控制演示確保正確成像。

彩色，多光譜和超光譜成像

機(jī)器視覺(jué)的彩色成像集成對(duì)于需要識(shí)別，區(qū)分或驗(yàn)證對(duì)象或特征顏色的應(yīng)用程序非常有用。具有彩色圖像數(shù)據(jù)可以在灰度圖像不能的某些情況下增強(qiáng)特征對(duì)比度并隔離特征。標(biāo)準(zhǔn)彩色攝像機(jī)和工具在基本機(jī)器視覺(jué)系統(tǒng)中廣泛使用，并且是一種可在適當(dāng)時(shí)輕松考慮和集成的成像選項(xiàng)。最常見(jiàn)的彩色攝像機(jī)采用三個(gè)寬帶色彩平面拍攝圖像;紅色，綠色和藍(lán)色，并組合這些顏色平面以創(chuàng)建全彩色圖像。

一種更強(qiáng)大的彩色成像技術(shù)，近年來(lái)已經(jīng)變得更加廣泛，但并不是新的，而是高光譜成像技術(shù)。這種類(lèi)型的相機(jī)通過(guò)許多（有時(shí)100或更多）非常窄的顏色帶寬獲取圖像，這些帶寬通常從紫外線到近紅外或短波紅外線。這種增強(qiáng)的功能允許集成商為對(duì)象或特征定義復(fù)雜的顏色“輪廓”，其精度在基本RGB彩色成像中是不可用的。即使對(duì)于人眼而言可能不可區(qū)分或可見(jiàn)的特征，缺陷和顏色有時(shí)也可通過(guò)高光譜成像容易地檢測(cè)到。與高光譜成像密切相關(guān)的是多光譜成像。多光譜相機(jī)在圖像中提供較少的色彩平面（通常小于10），并且通常選擇顏色帶寬并調(diào)整到特定應(yīng)用。超光譜和多光譜相機(jī)的規(guī)范和集成可能很復(fù)雜。大多數(shù)高光譜系統(tǒng)必須具有對(duì)象。選擇帶寬和調(diào)整顏色配置文件可能需要一些專(zhuān)業(yè)技術(shù)。

在所有顏色應(yīng)用中，關(guān)鍵的集成挑戰(zhàn)是照明。如果沒(méi)有為所有感興趣的顏色提供照明的光源，則無(wú)法對(duì)顏色內(nèi)容進(jìn)行成像。第一直覺(jué)是使用“白色”燈，但我們?nèi)绾味x“白色”？不幸的是，流行的機(jī)器視覺(jué)光源（如LED）可能不是“白色”，因?yàn)楣庠床荒芴峁┚鶆虻恼彰鞫鴽](méi)有丟失或某些波長(zhǎng)的強(qiáng)峰。對(duì)于給定的應(yīng)用，可用的“白色”可能是足夠的，只要知道需要更接近顏色區(qū)分的應(yīng)用通常需要更均勻的白光源。通常解決方案是使用像鹵素或氙這樣的白熾光源，但最近可以使用稱(chēng)為“多光譜照明”的新LED技術(shù)，通過(guò)組合多種LED顏色和平衡輸出，更接近全帶寬照明。

總之，標(biāo)準(zhǔn)機(jī)器視覺(jué)組件和系統(tǒng)仍然是一個(gè)很好的集成選擇，但擁有更廣泛的工具集可以增強(qiáng)可成功和可靠集成的機(jī)器視覺(jué)應(yīng)用的范圍。