摘 要:
開發(fā)了一種基于CMOS圖像傳感器的嵌入式圖像采集系統(tǒng)。該系統(tǒng)實現(xiàn)了圖像有效采集傳輸?shù)墓δ?,將采集到的Bayer格式數(shù)據(jù)轉化為RGB格式,采用嵌入式系統(tǒng)有利集成化、小型化設計。
關鍵詞: CMOS圖像傳感器;DSP;Bayer格式;圖像采集
引 言
圖像傳感器作為一種基礎器件,可以實現(xiàn)信息的獲取、轉換以及視覺功能的擴展,并且還可以給出直觀、真實、多層次、內容豐富的可視圖像信息。CMOS圖像傳感器自上世紀70年代開始研制,但由于工藝上的原因,一直因為光照度靈敏度低、噪聲高、圖像分辨率低等缺點而沒有得到發(fā)展,與CCD圖像傳感器比較可知,CCD圖像傳感器需要在外部配接放大器、模數(shù)轉換器等,因此會有體積大、讀出速度受限等缺點,而CMOS圖像傳感器則將整個圖像系統(tǒng)集成到同一塊芯片上,有集成度高、占用空間小、功耗小和造價低等優(yōu)點。因此,隨著技術的進步,CMOS圖像傳感器得到越來越多的重視,成為研究的熱點。
在本系統(tǒng)的設計中,應用MICRON公司的MT9T001型CMOS圖像傳感器配合TI公司的DM642型處理器實現(xiàn)嵌入式圖像采集系統(tǒng)。該系統(tǒng)將采集到的圖像,經DSP進行格式轉化后傳輸?shù)斤@示器上進行顯示,具有體積小,成本低,可靠性高,安裝方便等優(yōu)點。
系統(tǒng)設計
本圖像采集系統(tǒng)主要由CMOS圖像傳感器,DSP及處理電路組成。其采用的具體實現(xiàn)方案是當CMOS圖像傳感器被配置好,收到開始采集的信號后,開始圖像的采集,并將采集到的圖像信息送入DSP,為后面的圖像格式轉化、處理和顯示做好準備。DSP將CMOS圖像傳感器采集到的圖像數(shù)據(jù)存入片外存儲器SDRAM中,以便進行處理,并根據(jù)具體的圖像識別算法要求,進行數(shù)據(jù)的處理,并將結果傳輸?shù)斤@示器上進行顯示。其系統(tǒng)框圖如圖1所示。
[align=center]
圖1 系統(tǒng)框圖[/align]
CMOS圖像傳感器
本系統(tǒng)選用的CMOS圖像傳感器是MICRON公司的MT9T001。這是一款1/2英寸、有效像素為300萬像素(2048×1536)的CMOS彩色圖像傳感器。
芯片可以在其默認的模式下工作,也可以由用戶自己編程設計幀大小、曝光時間、增益或者其他參數(shù)。在默認模式下,輸出一幅QXGA圖像(2048×1536)其速度可達12幀每秒,輸出一幅VGA圖像(640×480)其速度可達93幀每秒。片上集成10bit模數(shù)轉換器,行同步LINE_VALID和幀同步信號FRAME_VALID有專用的輸出引腳,同像素時鐘PIXCLK一樣,與有效數(shù)據(jù)同步。芯片內部還集成了放大器、時鐘控制電路(反相,相位調節(jié))、圖像大小調節(jié)、圓點定位、白平衡調節(jié)、曝光調節(jié)、幀速率調節(jié)等眾多功能電路,并且所有這些控制都通過一個串行總線口進行操作(SCLK和SDATA)。
在本系統(tǒng)中選擇高像素的CMOS圖像傳感器,可直接將采集到的圖像信息轉換成數(shù)字信號輸出,省去了模數(shù)轉換器的使用,有效地簡化了系統(tǒng)的硬件設計,并且由于本系統(tǒng)應用于顯微圖像的采集,因此,高像素的CMOS圖像傳感器可以使拍攝的圖像更加清晰,有利于簡化后續(xù)的圖像處理。
DSP主處理器
在本系統(tǒng)設計中,采用嵌入式系統(tǒng)對傳統(tǒng)的光學顯微鏡的觀察方式進行一定的改進,采用高速數(shù)字信號處理器完成圖像的處理,傳輸?shù)裙δ?,有效的減小了儀器的體積,便于系統(tǒng)的集成化和小型化設計。在DSP的選擇上,本系統(tǒng)選用TI公司C6000系列的TMS320DM642型數(shù)字多媒體處理器。這是一款高性能DSP,基于C64x內核,擴展的高級甚長指令字體系結構,具有64個32位通用寄存器,8個獨立計算功能單元,其中包括兩個乘法器和六個算術邏輯單元,可以并行運行,因此可同時執(zhí)行多條指令。DM642采用兩級緩存結構,64個獨立通道的EDMA控制器。此外,DM642還具有豐富的外圍設備接口。
在本系統(tǒng)工作時,DSP通過視頻口接收由CMOS圖像傳感器傳來的圖像信號,采用外部內存接口(EMIF)實現(xiàn)與Flash和SDRAM的數(shù)據(jù)存儲,交換。同時,使用DSP作為處理器也可以為后續(xù)的識別算法做一定的準備。
系統(tǒng)采集程序
在本系統(tǒng)中,單幀圖像采集的過程如下:系統(tǒng)上電后,程序從Flash自舉,從而完成程序的導入及初始化工作。DSP通過I2C總線發(fā)出信號,對CMOS圖像傳感器進行配置,當CMOS圖像傳感器開始工作后,將采集到的圖像信息轉化為數(shù)字信號,送入處理器DM642,圖像數(shù)據(jù)首先存入DM642視頻口的FIFO,當達到FIFO內設定的閾值時,DSP發(fā)出信號啟動EDMA通道,對FIFO中的圖像數(shù)據(jù)進行搬運,將其存入SDRAM中,再由DSP對SDRAM中的圖像數(shù)據(jù)進行進一步的處理,將處理后的圖像數(shù)據(jù)送入SDRAM的另一地址區(qū)域,發(fā)出啟動信號令EDMA將處理后的圖像數(shù)據(jù)運送到輸出視頻口的FIFO中,再經過圖像編碼芯片編碼后傳送到顯示器上進行顯示。
圖像格式轉化算法設計
本系統(tǒng)所選用的是MICRON公司的MT9T001型300萬像素CMOS圖像傳感器,是通過彩色濾波陣列(CFA)獲得圖像的彩色信息,而這樣采集的圖像信息在每個像素的位置上只有一種顏色分量可以獲得,要復原另外兩種缺少的顏色分量,就必須通過相鄰的像素進行估算,這個過程就叫CFA插值。它所輸出的圖像格式為Bayer格式,即奇數(shù)掃描行分別采集和輸出R、G、R、G……,偶數(shù)行分別采集和輸出G、B、G、B……,其一般格式如圖2所示。
圖2 Bayer格式示意圖
CMOS圖像傳感器光敏區(qū)域內的每個像素點對應一種色光,其中,R感應紅光,G感應綠光,B感應藍光。在這種Bayer格式的圖像中,圖像一半的像素分配給G分量,而R和B分量則占圖像的另一半像素。因為G分量是R、B分量的兩倍,所以如果G分量采用好的插值方法,不僅可以提高G分量的質量,還可以提高R和B分量的質量。
在本系統(tǒng)的設計中,是要將采集到的圖像傳輸?shù)斤@示器上進行顯示,因此需要將采集到的圖像信息轉化為便于顯示的RGB格式。在格式轉化方式的選擇上,使用雙線性差值法將CMOS圖像傳感器輸出的Bayer格式的圖像信息轉化為RGB格式。其基本原理是將每個像素位置上缺少的另外兩種彩色分量通過以它本身為中心的鄰域內具有相同分量的像素平均值獲得。
圖3 Bayer格式的像素點編號
根據(jù)圖3所示的像素點編號,G1、R2兩個像素點的雙線性差值法的計算公式為:
式中,
為格式轉化后G1點的RGB三種色彩的分量,
為格式轉化后G2點的RGB三種色彩的分量,同理,B分量的格式轉化計算方法與R分量類似。采用此種方法的優(yōu)點是運算簡單,易于實現(xiàn),占用硬件資源比較少;但也存在著一定的缺陷,即在色彩轉化的過程中忽略了邊界的問題,在今后的算法設計中,可以加以改進。
實驗結果
根據(jù)系統(tǒng)的設計要求,搭建了實驗平臺,使用CMOS圖像傳感器采集到了圖像,并對Bayer圖像格式轉化算法進行了軟件仿真。為了能更直觀的檢測出實驗系統(tǒng)的性能,將系統(tǒng)采集到的圖像同數(shù)碼相機所拍攝到的圖像做了對比。數(shù)碼相機拍攝的圖片如圖4所示。依照系統(tǒng)的硬件和采集程序的設計,CMOS圖像傳感器采集到的圖像分辨率為2048×1536,如圖5所示。經雙線性差值法轉化為RGB格式的圖像如圖6所示。
[align=center]
圖4 數(shù)碼相機拍攝的圖像[/align]
[align=center]
圖5 CMOS圖像傳感器采集到的圖像[/align]
[align=center]
圖6 經格式轉化后的RGB圖像[/align]
由上述三幅圖分析比較可知,MT9T001型CMOS圖像傳感器可以采集到比較清晰的Bayer格式圖像,經雙線性差值進行格式轉化后,可以基本還原圖像的本來色彩。
結 語
CMOS圖像傳感器是繼CCD圖像傳感器發(fā)展之后深受歡迎的多功能攝像器件,擁有集成度高、功耗低、成本低等優(yōu)點,隨著工藝的發(fā)展,結構的改進,CMOS圖像傳感器的性能也將不斷提高,具有廣闊的發(fā)展前景。應用嵌入式系統(tǒng)進行圖像的采集,有利于系統(tǒng)的小型化設計,將灰度的Bayer格式圖像轉化為彩色的RGB格式,使圖像的可視性更好,應用范圍更廣。
參考文獻:
1、 林凡、吳孫桃、郭東輝,CMOS圖像傳感技術及其研究進展,半導體技術,26(12):40~44
2、 趙吉力、劉鐵根、李晉申,基于M642的高速圖像識別系統(tǒng)設計,電子測量與儀器學報,2007,21(1):86~89
3、 羅碧強、李斌,一種改進的圖像重組算法及其硬件實現(xiàn),中國集成電路,2007