機(jī)器視覺(jué)系統(tǒng)是指用計(jì)算機(jī)來(lái)實(shí)現(xiàn)人的視覺(jué)功能，也就是用計(jì)算機(jī)來(lái)實(shí)現(xiàn)對(duì)客觀的三維世界的識(shí)別。按現(xiàn)在的理解，人類(lèi)視覺(jué)系統(tǒng)的感受部分是視網(wǎng)膜，它是一個(gè)三維采樣系統(tǒng)。三維物體的可見(jiàn)部分投影到網(wǎng)膜上，人們按照投影到視網(wǎng)膜上的二維的像來(lái)對(duì)該物體進(jìn)行三維理解。所謂三維理解是指對(duì)被觀察對(duì)象的形狀、尺寸、離開(kāi)觀察點(diǎn)的距離、質(zhì)地和運(yùn)動(dòng)特征（方向和速度）等的理解。

機(jī)器視覺(jué)系統(tǒng)的輸入裝置可以是攝像機(jī)、轉(zhuǎn)鼓等，它們都把三維的影像作為輸入源，即輸入計(jì)算機(jī)的就是三維管觀世界的二維投影。如果把三維客觀世界到二維投影像看作是一種正變換的話，則機(jī)器視覺(jué)系統(tǒng)所要做的是從這種二維投影圖像到三維客觀世界的逆變換，也就是根據(jù)這種二維投影圖像去重建三維的客觀世界。

機(jī)器視覺(jué)系統(tǒng)主要由三部分組成：圖像的獲取、圖像的處理和分析、輸出或顯示。

將近80%的工業(yè)視覺(jué)系統(tǒng)主要用在檢測(cè)方面，包括用于提高生產(chǎn)效率、控制生產(chǎn)過(guò)程中的產(chǎn)品質(zhì)量、采集產(chǎn)品數(shù)據(jù)等。產(chǎn)品的分類(lèi)和選擇也集成于檢測(cè)功能中。下面通過(guò)一個(gè)用于生產(chǎn)線上的單攝像機(jī)視覺(jué)系統(tǒng)，說(shuō)明系統(tǒng)的組成及功能。

視覺(jué)系統(tǒng)檢測(cè)生產(chǎn)線上的產(chǎn)品，決定產(chǎn)品是否符合質(zhì)量要求，并根據(jù)結(jié)果，產(chǎn)生相應(yīng)的信號(hào)輸入上位機(jī)。圖像獲取設(shè)備包括光源、攝像機(jī)等；圖像處理設(shè)備包括相應(yīng)的軟件和硬件系統(tǒng)；輸出設(shè)備是與制造過(guò)程相連的有關(guān)系統(tǒng)，包括過(guò)程控制器和報(bào)警裝置等。數(shù)據(jù)傳輸?shù)接?jì)算機(jī)，進(jìn)行分析和產(chǎn)品控制，若發(fā)現(xiàn)不合格品，則報(bào)警器告警，并將其排除出生產(chǎn)線。機(jī)器視覺(jué)的結(jié)果是CAQ系統(tǒng)的質(zhì)量信息來(lái)源，也可以和CIMS其它系統(tǒng)集成。

圖像的獲取

圖像的獲取實(shí)際上是將被測(cè)物體的可視化圖像和內(nèi)在特征轉(zhuǎn)換成能被計(jì)算機(jī)處理的一系列數(shù)據(jù)，它主要由三部分組成：

＊照明

＊圖像聚焦形成

＊圖像確定和形成攝像機(jī)輸出信號(hào)

1、照明

照明和影響機(jī)器視覺(jué)系統(tǒng)輸入的重要因素，因?yàn)樗苯佑绊戄斎霐?shù)據(jù)的質(zhì)量和至少30%的應(yīng)用效果。由于沒(méi)有通用的機(jī)器視覺(jué)照明設(shè)備，所以針對(duì)每個(gè)特定的應(yīng)用實(shí)例，要選擇相應(yīng)的照明裝置，以達(dá)到最佳效果。

過(guò)去，許多工業(yè)用的機(jī)器視覺(jué)系統(tǒng)用可見(jiàn)光作為光源，這主要是因?yàn)榭梢?jiàn)光容易獲得，價(jià)格低，并且便于操作。常用的幾種可見(jiàn)光源是白幟燈、日光燈、水銀燈和鈉光燈。但是，這些光源的一個(gè)最大缺點(diǎn)是光能不能保持穩(wěn)定。以日光燈為例，在使用的第一個(gè)100小時(shí)內(nèi)，光能將下降15%，隨著使用時(shí)間的增加，光能將不斷下降。因此，如何使光能在一定的程度上保持穩(wěn)定，是實(shí)用化過(guò)程中急需要解決的問(wèn)題。

另一個(gè)方面，環(huán)境光將改變這些光源照射到物體上的總光能，使輸出的圖像數(shù)據(jù)存在噪聲，一般采用加防護(hù)屏的方法，減少環(huán)境光的影響。

由于存在上述問(wèn)題，在現(xiàn)今的工業(yè)應(yīng)用中，對(duì)于某些要求高的檢測(cè)任務(wù)，常采用X射線、超聲波等不可見(jiàn)光作為光源。但是不可見(jiàn)光不利于檢測(cè)系統(tǒng)的操作，且價(jià)格較高，所以，目前在實(shí)際應(yīng)用中，仍多用可見(jiàn)光作為光源。

照明系統(tǒng)按其照射方法可分為：背向照明、前向照明、結(jié)構(gòu)光和頻閃光照明等。其中，背向照明是被測(cè)物放在光源和攝像機(jī)之間，它的優(yōu)點(diǎn)是能獲得高對(duì)比度的圖像。前向照明是光源和攝像機(jī)位于被測(cè)物的同側(cè)，這種方式便于安裝。結(jié)構(gòu)光照明是將光柵或線光源等投射到被測(cè)物上，根據(jù)它們產(chǎn)生的畸變，解調(diào)出被測(cè)物的三維信息。頻閃光照明是將高頻率的光脈沖照射到物體上，照像機(jī)拍攝要求與光源同步。

2、圖像聚焦形成

被測(cè)物的圖像通過(guò)一個(gè)透鏡聚焦在敏感元件上，如同照像機(jī)拍照一樣。所不同的是照像機(jī)使用膠卷，而機(jī)器視覺(jué)系統(tǒng)使用傳感器來(lái)捕捉圖像，傳感器將可視圖像轉(zhuǎn)化為電信號(hào)，便于計(jì)算機(jī)處理。

選取機(jī)器視覺(jué)系統(tǒng)中的攝像機(jī)應(yīng)根據(jù)實(shí)際應(yīng)用的要求，其中攝像機(jī)的透鏡參數(shù)是一項(xiàng)重要指標(biāo)。透鏡參數(shù)分為四個(gè)部分：放大倍率、焦距、景深和透鏡安裝。

3、圖像確定和形成攝像機(jī)輸出信號(hào)

機(jī)器視覺(jué)系統(tǒng)實(shí)際上是一個(gè)光電轉(zhuǎn)換裝置，即將傳感器所接收到的透鏡成像，轉(zhuǎn)化為計(jì)算機(jī)能處理的電信號(hào)、攝像機(jī)可以是電子管的，也可是固體狀態(tài)傳感單元。

電子管攝像機(jī)發(fā)展較早，20世紀(jì)30年代就已應(yīng)用于商業(yè)電視，它采用包含光感元件的真空管進(jìn)行圖像傳感，將所接收到的圖像轉(zhuǎn)換成模擬電壓信號(hào)輸出。具有RS-170輸出制式的攝像機(jī)可直接與商用電視顯示器相連。

固體狀態(tài)攝像機(jī)是在20世紀(jì)60年代后期，美國(guó)貝爾電話實(shí)驗(yàn)室發(fā)明了電荷耦合裝置（CCD），而發(fā)展起來(lái)的。它上分布于各個(gè)像元的光敏二極管的線性陣列或矩形陣列構(gòu)成，通過(guò)按一定順序輸出每個(gè)二極管的電壓脈沖，實(shí)現(xiàn)將圖像光信號(hào)轉(zhuǎn)換成電信號(hào)的目的。輸出的電壓脈沖序列可以直接以RS-170制式輸入標(biāo)準(zhǔn)電視顯示器，或者輸入計(jì)算機(jī)的內(nèi)存，進(jìn)行數(shù)值化處理。CCD是現(xiàn)在最常用的機(jī)器視覺(jué)傳感器。

圖像處理技術(shù)

機(jī)器視覺(jué)系統(tǒng)中，視覺(jué)信息的處理技術(shù)主要依賴(lài)于圖像處理方法，它包括圖像增強(qiáng)、數(shù)據(jù)編碼和傳輸、平滑、邊緣銳化、分割、特征抽取、圖像識(shí)別與理解等內(nèi)容。經(jīng)過(guò)這些處理后，輸出圖像的質(zhì)量得到相當(dāng)程度的改善，既改善了圖像的視覺(jué)效果，又便于計(jì)算機(jī)對(duì)圖像進(jìn)行分析、處理和識(shí)別。

1、圖像的增強(qiáng)

圖像的增強(qiáng)用于調(diào)整圖像的對(duì)比度，突出圖像中的重要細(xì)節(jié)，改善視覺(jué)質(zhì)量。通常采用灰度直方圖修改技術(shù)進(jìn)行圖像增強(qiáng)。

圖像的灰度直方圖是表示一幅圖像灰度分布情況的統(tǒng)計(jì)特性圖表，與對(duì)比度緊密相連。

通常，在計(jì)算機(jī)中表示的一幅二維數(shù)字圖像可表示為一個(gè)矩陣，其矩陣中的元素是位于相應(yīng)坐標(biāo)位置的圖像灰度值，是離散化的整數(shù)，一般取0，1，……，255。這主要是因?yàn)橛?jì)算機(jī)中的一個(gè)字節(jié)所表示的數(shù)值范圍是0~255。另外，人眼也只能分辨32個(gè)左右的灰度級(jí)。所以，用一個(gè)字節(jié)表示灰度即可。

但是，直方圖僅能統(tǒng)計(jì)某級(jí)灰度像素出現(xiàn)的概率，反映不出該像素在圖像中的二維坐標(biāo)。因此，不同的圖像有可能具有相同的直方圖。通過(guò)灰度直方圖的形狀，能判斷該圖像的清晰度和黑白對(duì)比度。

如果獲得一幅圖像的直方圖效果不理想，可以通過(guò)直方圖均衡化處理技術(shù)作適當(dāng)修改，即把一幅已知灰度概率分布圖像中的像素灰度作某種映射變換，使它變成一幅具有均勻灰度概率分布的新圖像，實(shí)現(xiàn)使圖象清晰的目的。

2、圖像的平滑

圖像的平滑處理技術(shù)即圖像的去噪聲處理，主要是為了去除實(shí)際成像過(guò)程中，因成像設(shè)備和環(huán)境所造成的圖像失真，提取有用信息。眾所周知，實(shí)際獲得的圖像在形成、傳輸、接收和處理的過(guò)程中，不可避免地存在著外部干擾和內(nèi)部干擾，如光電轉(zhuǎn)換過(guò)程敏感元件靈敏度的不均勻性、數(shù)字化過(guò)程的量化噪聲、傳輸過(guò)程中的誤差以及人為因素等，均會(huì)使圖像變質(zhì)。因此，去除噪聲，恢復(fù)原始圖像是圖像處理中的一個(gè)重要內(nèi)容。

3、圖像的數(shù)據(jù)編碼和傳輸

數(shù)字圖像的數(shù)據(jù)量是相當(dāng)龐大的，一幅512*512個(gè)像素的數(shù)字圖像的數(shù)據(jù)量為256K字節(jié)，若假設(shè)每秒傳輸25幀圖像，則傳輸?shù)男诺浪俾蕿?2.4M比特/秒。高信道速率意味著高投資，也意味著普及難度的增加。因此，傳輸過(guò)程中，對(duì)圖像數(shù)據(jù)進(jìn)行壓縮顯得非常重要。數(shù)據(jù)的壓縮主要通過(guò)圖像數(shù)據(jù)的編碼和變換壓縮完成。

圖像數(shù)據(jù)編碼一般采用預(yù)測(cè)編碼，即將圖像數(shù)據(jù)的空間變化規(guī)律和序列變化規(guī)律用一個(gè)預(yù)測(cè)公式表示，如果知道了某一像素的前面各相鄰像素值之后，可以用公式預(yù)測(cè)該像素值。采用預(yù)測(cè)編碼，一般只需傳輸圖像數(shù)據(jù)的起始值和預(yù)測(cè)誤差，因此可將8比特/像素壓縮到2比特/像素。

變換壓縮方法是將整幅圖像分成一個(gè)個(gè)小的（一秀取8*8或16*16）數(shù)據(jù)塊，再將這些數(shù)據(jù)塊分類(lèi)、變換、量化，從而構(gòu)成自適應(yīng)的變換壓縮系統(tǒng)。該方法可將一幅圖像的數(shù)據(jù)壓縮到為數(shù)不多的幾十個(gè)特傳輸，在接收端再變換回去即可。

4、邊緣銳化

圖像邊緣銳化處理主要是加強(qiáng)圖像中的輪廓邊緣和細(xì)節(jié)，形成完整的物體邊界，達(dá)到將物體從圖像中分離出來(lái)或?qū)⒈硎就晃矬w表面的區(qū)域檢測(cè)出來(lái)的目的。它是早期視覺(jué)理論和算法中的基本問(wèn)題，也是中期和后期視覺(jué)成敗的重要因素之一。

5、圖像的分割

圖像分割是將圖像分成若干部分，每一部分對(duì)應(yīng)于某一物體表面，在進(jìn)行分割時(shí)，每一部分的灰度或紋理符合某一種均勻測(cè)度度量。某本質(zhì)是將像素進(jìn)行分類(lèi)。分類(lèi)的依據(jù)是像素的灰度值、顏色、頻譜特性、空間特性或紋理特性等。圖像分割是圖像處理技術(shù)的基本方法之一，應(yīng)用于諸如染色體分類(lèi)、景物理解系統(tǒng)、機(jī)器視覺(jué)等方面。

圖像分割主要有兩種方法：一是鑒于度量空間的灰度閾值分割法。它是根據(jù)圖像灰度直方圖來(lái)決定圖像空間域像素聚類(lèi)。但它只利用了圖像灰度特征，并沒(méi)有利用圖像中的其它有用信息，使得分割結(jié)果對(duì)噪聲十分敏感；二是空間域區(qū)域增長(zhǎng)分割方法。它是對(duì)在某種意義上（如灰度級(jí)、組織、梯度等）具有相似性質(zhì)的像素連通集構(gòu)成分割區(qū)域，該方法有很好的分割效果，但缺點(diǎn)是運(yùn)算復(fù)雜，處理速度慢。其它的方法如邊緣追蹤法，主要著眼于保持邊緣性質(zhì)，跟蹤邊緣并形成閉合輪廓，將目標(biāo)分割出來(lái)；錐體圖像數(shù)據(jù)結(jié)構(gòu)法和標(biāo)記松弛迭代法同樣是利用像素空間分布關(guān)系，將邊鄰的像素作合理的歸并。而基于知識(shí)的分割方法則是利用景物的先驗(yàn)信息和統(tǒng)計(jì)特性，首先對(duì)圖像進(jìn)行初始分割，抽取區(qū)域特征，然后利用領(lǐng)域知識(shí)推導(dǎo)區(qū)域的解釋?zhuān)詈蟾鶕?jù)解釋對(duì)區(qū)域進(jìn)行合并。

6、圖像的識(shí)別

圖像的識(shí)別過(guò)程實(shí)際上可以看作是一個(gè)標(biāo)記過(guò)程，即利用識(shí)別算法來(lái)辨別景物中已分割好的各個(gè)物體，給這些物體賦予特定的標(biāo)記，它是機(jī)器視覺(jué)系統(tǒng)必須完成的一個(gè)任務(wù)。

按照?qǐng)D像識(shí)別從易到難，可分為三類(lèi)問(wèn)題。第一類(lèi)識(shí)別問(wèn)題中，圖像中的像素表達(dá)了某一物體的某種特定信息。如遙感圖像中的某一像素代表地面某一位置地物的一定光譜波段的反射特性，通過(guò)它即可判別出該地物的種類(lèi)。第二類(lèi)問(wèn)題中，待識(shí)別物是有形的整體，二維圖像信息已經(jīng)足夠識(shí)別該物體，如文字識(shí)別、某些具有穩(wěn)定可視表面的三維體識(shí)別等。但這類(lèi)問(wèn)題不像第一類(lèi)問(wèn)題容易表示成特征矢量，在識(shí)別過(guò)程中，應(yīng)先將待識(shí)別物體正確地從圖像的背景中分割出來(lái)，再設(shè)法將建立起來(lái)的圖像中物體的屬性圖與假定模型庫(kù)的屬性圖之間匹配。第三類(lèi)問(wèn)題是由輸入的二維圖、要素圖、2·5維圖等，得出被測(cè)物體的三維表示。這里存著如何將隱含的三維信息提取出來(lái)的問(wèn)題，當(dāng)是今研究的熱點(diǎn)。

目前用于圖像識(shí)別的方法主要分為決策理論和結(jié)構(gòu)方法。決策理論方法的基礎(chǔ)是決策函數(shù)，利用它對(duì)模式向量進(jìn)行分類(lèi)識(shí)別，是以定時(shí)描述（如統(tǒng)計(jì)紋理）為基礎(chǔ)的；結(jié)構(gòu)方法的核心是將物體分解成了模式或模式基元，而不同的物體結(jié)構(gòu)有不同的基元串（或稱(chēng)字符串），通過(guò)對(duì)未知物體利用給定的模式基元求出編碼邊界，得到字符串，再根據(jù)字符串判斷它的屬類(lèi)。這是一種依賴(lài)于符號(hào)描述被測(cè)物體之間關(guān)系的方法。

那么，機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)的難點(diǎn)都有哪些？本文主要總結(jié)了一下五點(diǎn)，

第一：打光的穩(wěn)定性

工業(yè)視覺(jué)應(yīng)用一般分成四大類(lèi)：定位、測(cè)量、檢測(cè)和識(shí)別，其中測(cè)量對(duì)光照的穩(wěn)定性要求最高，因?yàn)楣庹罩灰l(fā)生10-20%的變化，測(cè)量結(jié)果將可能偏差出1-2個(gè)像素，這不是軟件的問(wèn)題，這是光照變化，導(dǎo)致了圖像上邊緣位置發(fā)生了變化，即使再厲害的軟件也解決不了問(wèn)題，必須從系統(tǒng)設(shè)計(jì)的角度，排除環(huán)境光的干擾，同時(shí)要保證主動(dòng)照明光源的發(fā)光穩(wěn)定性。當(dāng)然通過(guò)硬件相機(jī)分辨率的提升也是提高精度，抗環(huán)境干擾的一種辦法了。比如之前的相機(jī)對(duì)應(yīng)物空間尺寸是1個(gè)像素10um，而通過(guò)提升分辨率后變成1個(gè)像素5um，精度近似可以認(rèn)為提升1倍，對(duì)環(huán)境的干擾自然增強(qiáng)了。

第二：工件位置的不一致性

一般做測(cè)量的項(xiàng)目，無(wú)論是離線檢測(cè)，還是在線檢測(cè)，只要是全自動(dòng)化的檢測(cè)設(shè)備，首先做的第一步工作都是要能找到待測(cè)目標(biāo)物。每次待測(cè)目標(biāo)物出現(xiàn)在拍攝視場(chǎng)中時(shí)，要能精確知道待測(cè)目標(biāo)物在哪里，即使你使用一些機(jī)械夾具等，也不能特別高精度保證待測(cè)目標(biāo)物每次都出現(xiàn)在同一位置的，這就需要用到定位功能，如果定位不準(zhǔn)確，可能測(cè)量工具出現(xiàn)的位置就不準(zhǔn)確，測(cè)量結(jié)果有時(shí)會(huì)有較大偏差

第三：標(biāo)定

一般在高精度測(cè)量時(shí)需要做以下幾個(gè)標(biāo)定，一光學(xué)畸變標(biāo)定（如果您不是用的軟件鏡頭，一般都必須標(biāo)定），二投影畸變的標(biāo)定，也就是因?yàn)槟惭b位置誤差代表的圖像畸變校正，三物像空間的標(biāo)定，也就是具體算出每個(gè)像素對(duì)應(yīng)物空間的尺寸。

不過(guò)目前的標(biāo)定算法都是基于平面的標(biāo)定，如果待測(cè)量的物理不是平面的，標(biāo)定就會(huì)需要作一些特種算法來(lái)處理，通常的標(biāo)定算法是解決不了的。

此外有些標(biāo)定，因?yàn)椴环矫媸褂脴?biāo)定板，也必須設(shè)計(jì)特殊的標(biāo)定方法，因此標(biāo)定不一定能通過(guò)軟件中已有的標(biāo)定算法全部解決。

第四：物體的運(yùn)動(dòng)速度

如果被測(cè)量的物體不是靜止的，而是在運(yùn)動(dòng)狀態(tài)，那么一定要考慮運(yùn)動(dòng)模糊對(duì)圖像精度（模糊像素=物體運(yùn)動(dòng)速度*相機(jī)曝光時(shí)間），這也不是軟件能夠解決的。

第五：軟件的測(cè)量精度

在測(cè)量應(yīng)用中軟件的精度只能按照1/2—1/4個(gè)像素考慮，最好按照1/2，而不能向定位應(yīng)用一樣達(dá)到1/10-1/30個(gè)像素精度，因?yàn)闇y(cè)量應(yīng)用中軟件能夠從圖像上提取的特征點(diǎn)非常少。