應(yīng)用領(lǐng)域：半導(dǎo)體、工業(yè)自動(dòng)化 使用的產(chǎn)品：LabVIEW 7.0、IMAQ Vision、IMAQ Vision Assistant、PXI-1409、MBC-5051等 挑戰(zhàn)：構(gòu)建IC芯片表面標(biāo)識(shí)自動(dòng)識(shí)別系統(tǒng)，實(shí)現(xiàn)對(duì)芯片表面英文字母、數(shù)字以及廠(chǎng)商圖標(biāo)的識(shí)別。 應(yīng)用方案：使用NI公司LabVIEW、IMAQ Vision、IMAQ Vision Assistant等軟件配合PXI-1409圖像采集卡、MBC-5051 CCD黑白相機(jī)等圖像采集硬件構(gòu)建IC芯片表面標(biāo)識(shí)自動(dòng)識(shí)別系統(tǒng)，實(shí)現(xiàn)對(duì)英文字母、數(shù)字以及廠(chǎng)商圖標(biāo)的識(shí)別。 介紹 芯片表面標(biāo)記自動(dòng)識(shí)別技術(shù)是芯片制造技術(shù)不斷高速發(fā)展的要求，其中芯片表面標(biāo)識(shí)主要包括廠(chǎng)商圖標(biāo)、序列號(hào)（包括英文字母及數(shù)字）等。由于自動(dòng)識(shí)別技術(shù)具有極其重要的意義，一直以來(lái)，人們都對(duì)該技術(shù)的研究投入了大量的人力物力，并取得了卓有成效的進(jìn)展。它可以應(yīng)用于芯片性能自動(dòng)檢測(cè)領(lǐng)域，提高芯片測(cè)試效率，進(jìn)而提高廠(chǎng)商的生產(chǎn)能力，具有十分廣闊的應(yīng)用前景。 本系統(tǒng)使用NI的視覺(jué)系統(tǒng)開(kāi)發(fā)工具構(gòu)建，因而具有開(kāi)發(fā)周期短、成本低等特點(diǎn)。系統(tǒng)綜合運(yùn)用了銳化、濾波、細(xì)化、特征識(shí)別等多種圖像處理技術(shù)，成功地實(shí)現(xiàn)了從芯片自動(dòng)跟蹤定位、圖像采集到圖像預(yù)處理、骨架提取以及識(shí)別等一系列功能。 Abstract With the incessant development of the chip manufacturing technology, developing the auto-recognizing system of the chip surface’s mark which mainly contains licenses and so on becomes more and more important. As this technique is of great importance, a lot of energy has been put into it and many achievements have been gained. This system can be used in the filed of the automation of the chip testing, so it can increase the throughput of the chip manufacturer. Thanks to the using of the LabVIEW software and its IMAQ Vision image processing modules, the system’s exploit period is very short and its cost is especially cheap. With the comprehensive utilization of several kinds of technology, such as the threshold, filtering, arithmetic/logical operation, cutting, thinning, feature matching and so on, this system can bring all the expected functions to success in practical application. 系統(tǒng)簡(jiǎn)介 我們使用LabVIEW、IMAQ Vision和IMAQ Vision Assistant等軟件進(jìn)行系統(tǒng)開(kāi)發(fā)。LabVIEW特有的數(shù)據(jù)流式編程、IMAQ Vision強(qiáng)大的圖像處理能力以及IMAQ Vision Assistant的代碼自動(dòng)生成功能極大地縮短了系統(tǒng)的開(kāi)發(fā)周期、降低了成本。 圖1所示為IC芯片表面標(biāo)識(shí)自動(dòng)識(shí)別系統(tǒng)的工作流程。這里使用NI公司的PXI-1409圖像采集卡和MBC-5051黑白攝像機(jī)進(jìn)行圖像采集，然后將采集到的圖像送入計(jì)算機(jī)進(jìn)行處理。為了提高識(shí)別的靈活性，系統(tǒng)加入了學(xué)習(xí)模塊，與識(shí)別過(guò)程類(lèi)似，它也包括圖像預(yù)處理、文字區(qū)域裁剪、細(xì)化以及特征量提取的過(guò)程，不同的是，學(xué)習(xí)過(guò)程直接將提取到的特征量保存到計(jì)算機(jī)上，而識(shí)別過(guò)程則需要將這些特征值與已經(jīng)存儲(chǔ)了的特征值一一比較完成匹配。 [align=center] 圖1 識(shí)別系統(tǒng)的工作流程[/align] 芯片自動(dòng)跟蹤定位 芯片一旦進(jìn)入攝像頭視場(chǎng)，則能被系統(tǒng)感知，系統(tǒng)會(huì)開(kāi)始對(duì)該芯片進(jìn)行自動(dòng)跟蹤，確保ROI區(qū)域始終包含芯片，從而縮小了待處理的圖像尺寸，減小了運(yùn)算量。在這個(gè)過(guò)程中，系統(tǒng)主要完成了三個(gè)動(dòng)作：閾值化采集到的圖像，定位一個(gè)尺寸大于某一閾值的物體，根據(jù)該物體的位置信息設(shè)置ROI。因此通過(guò)IMAQ Vision，很容易就能夠?qū)崿F(xiàn)該定位功能。用戶(hù)只需要對(duì)第一個(gè)動(dòng)作中的灰度閾值和第二個(gè)動(dòng)作中物體尺寸進(jìn)行設(shè)置。 圖像預(yù)處理 采集到的圖像中夾雜有大量的噪聲，這給圖像的細(xì)化、識(shí)別等過(guò)程帶來(lái)極大的困難，因此必須將它們?yōu)V除。圖2所示為經(jīng)過(guò)預(yù)處理之后的圖像。系統(tǒng)采集到圖像之后會(huì)自動(dòng)對(duì)圖像進(jìn)行預(yù)處理，同時(shí)系統(tǒng)還支持手動(dòng)圖像處理，這主要是為了提高其在不同環(huán)境下的適應(yīng)能力。如果用戶(hù)對(duì)自動(dòng)處理圖像取得的效果不滿(mǎn)意，可以打開(kāi)圖像手動(dòng)處理程序，通過(guò)調(diào)整系統(tǒng)提供的圖像處理函數(shù)的參數(shù)來(lái)獲得較理想的圖像質(zhì)量。在進(jìn)行手動(dòng)處理的同時(shí)，系統(tǒng)將記錄下用戶(hù)使用過(guò)的圖像處理函數(shù)及它們的參數(shù)，用戶(hù)可以將這些參數(shù)保存到計(jì)算機(jī)中，因此，如果下一個(gè)待處理對(duì)象仍然是在該環(huán)境中，則可以調(diào)出這些參數(shù)，使用這些參數(shù)進(jìn)行圖像自動(dòng)處理。 [align=center] 圖2 系統(tǒng)經(jīng)過(guò)采集、處理的芯片表面標(biāo)識(shí)[/align] 文字切割、細(xì)化 系統(tǒng)先將每一個(gè)文字單獨(dú)分離出來(lái)，然后細(xì)化抽取它們的骨架，以方便后面的識(shí)別。文字的切分是利用文字行與行、字與字之間有間隙實(shí)現(xiàn)的。由于白顏色的灰度值是255，黑顏色的灰度值是零，所以可以逐行掃描下來(lái)，將當(dāng)前行所有像素的灰度值之和與前一行的進(jìn)行比較，如果發(fā)生正跳變，則說(shuō)明該行為文字行的上邊界，如果發(fā)生負(fù)跳變，則說(shuō)明該行為文字行的下邊界。確定了行邊界之后再對(duì)該行進(jìn)行左右掃描確定字的左右邊界，從而分離每一個(gè)文字。但是逐行掃描速度較慢，因此系統(tǒng)使用了再基礎(chǔ)上改進(jìn)的兩次掃描法，原理類(lèi)似。 [align=center] 圖3 兩個(gè)字符的細(xì)化過(guò)程[/align] 細(xì)化過(guò)程采用的是FPA細(xì)化算法【1】，其實(shí)現(xiàn)簡(jiǎn)單，功能強(qiáng)大，效果理想。如圖3所示，即為對(duì)圖像中兩個(gè)已分離字符的細(xì)化過(guò)程。 文字識(shí)別 系統(tǒng)使用匹配法對(duì)文字進(jìn)行識(shí)別。因此要先抽取圖像中的一些特征量，然后將這些特征量與事先準(zhǔn)備好的標(biāo)準(zhǔn)特征量進(jìn)行匹配。如果某一個(gè)模板的標(biāo)準(zhǔn)特征量與待識(shí)別的圖像的特征量最接近，即相似距離最小，則系統(tǒng)將待識(shí)別圖像識(shí)別為該模板描述的文字或圖像。 系統(tǒng)使用圖4所示的方法提取特征量。其中有圖像平面上縱、橫、斜交叉的20條直線(xiàn)。這20條直線(xiàn)分別標(biāo)記上1～20的序號(hào)。當(dāng)圖像平面上輸入一個(gè)手寫(xiě)文字時(shí)，計(jì)算文字的各筆劃與各條直線(xiàn)的相交次數(shù)，把他們作為該文字的特征量。設(shè)特征量數(shù)組為C，C=｛Ci|i=1,2,...,20｝中各個(gè)分量的值表示相應(yīng)序號(hào)的特征直線(xiàn)與各筆劃的相交次數(shù)。 [align=center] 圖4 識(shí)別特征線(xiàn)[/align] 在提取特征值之前，系統(tǒng)先將分離出的文字圖像逐一擴(kuò)大為正方形，并且擴(kuò)充之后文字仍然位于圖像中心,使得斜向特征線(xiàn)更容易產(chǎn)生。 在特征線(xiàn)交點(diǎn)的基礎(chǔ)上，系統(tǒng)匹配了更多的字符特征，例如端點(diǎn)個(gè)數(shù)、端點(diǎn)位置等，以提高識(shí)別的精度。這些特征量的提取有賴(lài)于圖像的細(xì)化過(guò)程。 相似距離是D這樣計(jì)算的。設(shè)待識(shí)別圖形的特征量為，某個(gè)標(biāo)準(zhǔn)模板的特征量是，則待識(shí)別圖形與該標(biāo)準(zhǔn)模板之間的相似距離D由下式計(jì)算。 圖5所示為相似匹配過(guò)程。 [align=center] 圖5 相似距離匹配[/align] 使用識(shí)別系統(tǒng) 主程序可以分為三大部分：第一部分是程序的開(kāi)始，包括讀取配置文件、開(kāi)辟內(nèi)存空間（特別是圖像的內(nèi)存空間）以及對(duì)硬件設(shè)備進(jìn)行初始化；第二部分程序等待用戶(hù)的操作，一旦用戶(hù)按下前面板的按鈕，系統(tǒng)則對(duì)這些事件進(jìn)行響應(yīng)；第三部分是程序的結(jié)束，主要作用是釋放資源、進(jìn)行出錯(cuò)處理等。 圖6所示為識(shí)別系統(tǒng)主界面。 [align=center] 圖6 IC芯片表面標(biāo)識(shí)自動(dòng)識(shí)別系統(tǒng)[/align] “Process”可以使用戶(hù)能夠在對(duì)自動(dòng)處理的圖像不滿(mǎn)意的情況下完成手動(dòng)圖像處理，通過(guò)擴(kuò)展該功能可以更加完善系統(tǒng)，提高系統(tǒng)在不同環(huán)境下的適應(yīng)能力；主程序一共具有三個(gè)圖像顯示器，左上方的圖像顯示器顯示的是采集得到的圖像或使用“Open”打開(kāi)的圖像，“Open”和“Save”兩個(gè)按鈕對(duì)這個(gè)圖像顯示器中的圖像進(jìn)行操作的；左下方的圖像顯示器顯示的是經(jīng)過(guò)圖像處理之后的圖像，方便用戶(hù)與原圖像進(jìn)行比較，“Save Image”對(duì)這個(gè)圖像顯示器中的圖像操作；右側(cè)的小型圖像顯示器顯示的是細(xì)化后的單個(gè)文字的圖像，使得用戶(hù)可以實(shí)時(shí)觀(guān)察細(xì)化效果。 在使用識(shí)別系統(tǒng)之前，用戶(hù)需要完成以下幾個(gè)工作。 1. 啟動(dòng)采集設(shè)備，如圖像采集卡、攝像頭、光源等； 2. 調(diào)整好攝像頭焦距及位置等，調(diào)整光源方向，使得采集具有環(huán)境，從而提高系統(tǒng)的識(shí)別率。外界環(huán)境對(duì)于識(shí)別率具有舉足輕重的作用，一個(gè)優(yōu)良的環(huán)境能夠大幅提高系統(tǒng)的識(shí)別率。 3. 配置好NI的圖像采集設(shè)備。 效果和結(jié)論 我們運(yùn)用美國(guó)NI公司的LabVIEW、IMAQ Vision以及PXI等先進(jìn)的虛擬儀器技術(shù)，通過(guò)眾多圖像處理模塊的功能實(shí)現(xiàn)，在較短時(shí)間內(nèi)建立了一套完整的芯片表面標(biāo)識(shí)自動(dòng)識(shí)別系統(tǒng)。該系統(tǒng)能夠自動(dòng)定位跟蹤攝像頭視場(chǎng)中的芯片，將芯片剪切出來(lái)，然后通過(guò)一系列的圖像處理過(guò)程，對(duì)芯片上的文字進(jìn)行逐一提取，再對(duì)文字圖像進(jìn)行細(xì)化，最后系統(tǒng)通過(guò)文字的細(xì)化結(jié)果等獲取圖像的特征信息，并與標(biāo)準(zhǔn)模板進(jìn)行匹配，從而完成對(duì)文字的識(shí)別。系統(tǒng)具有較廣范圍的適用性，能夠完成包括廠(chǎng)商標(biāo)志圖標(biāo)等對(duì)象的識(shí)別；還具有較高的實(shí)用價(jià)值，配合芯片自動(dòng)測(cè)試系統(tǒng)，將極大提高生產(chǎn)能力和效率，因此具有極其廣闊的應(yīng)用前景。 致謝 真誠(chéng)地感謝江建軍教授。在系統(tǒng)成過(guò)程中，江教授給予了我莫大的幫助，對(duì)很多問(wèn)題提出了大量積極有效的解決方案。還要感謝范少春博士生、劉繼光博士生、劉文慶、明繁華等在本項(xiàng)目完成過(guò)程中給予了我大力協(xié)助幾位同學(xué)。 參考文獻(xiàn) [1]. 谷口慶治. 數(shù)字圖像處理應(yīng)用篇. 朱虹, 廖學(xué)成, 樂(lè)靜譯. 北京: 科學(xué)出版社,2000 [2]. 孫家廣. 計(jì)算機(jī)圖形學(xué). （第三版）. 北京：清華大學(xué)出版社，1998 [3]. Rafael C. Gonzalez. Digital Image Processing. （第二版）. 阮秋琦，阮宇智譯. 北京：電子工業(yè)出版社，2003 [4]. 鄭南寧. 計(jì)算機(jī)視覺(jué)與模式識(shí)別. 北京：國(guó)防工業(yè)出版社，1998 [5]. Sarp Ertürk. Digital Image Processing，F(xiàn)ebruary 2003 Edition，University of Kocaeli，Part Number 323604A-01. [6]. 管海兵，宣國(guó)榮. 一種新的完全并行細(xì)化算法. 計(jì)算機(jī)工程，1997，23（1）:256～258 [7]. 王睿，艾欣. 基于LabVIEW的數(shù)字識(shí)別技術(shù)研究. 現(xiàn)代電力，2003，20（3，4）：96～99 [8]. IMAQ Vision Concepts Manual，October 2000Edition，National Instruments Corporation，Part Number 322916A-01. [9]. IMAQ Vision for LabVIEWTM User Manual，June 2003 Edition，National Instruments Corporation，Part Number 322917B-01.