摘 要：提出了一種基于圖像分塊的背景模型構(gòu)建方法，目的是為了減少像素形式的背景模型所帶來的計(jì)算冗余，提高系統(tǒng)的運(yùn)行速度．文中回顧了目前主要的背景提取方法，給出了圖像分塊的方式以及幾種常用的圖像塊特征，并且利用圖像塊的特征來構(gòu)建自適應(yīng)的高斯混合模型．通過一組視頻將該方法與傳統(tǒng)的像素形式的背景模型進(jìn)行了實(shí)驗(yàn)對(duì)比；結(jié)果表明，該方法在保持相同的目標(biāo)檢測(cè)率的情況下，大大提高了系統(tǒng)的運(yùn)行效率． 關(guān)鍵詞：視頻監(jiān)控；背景模型；運(yùn)動(dòng)目標(biāo)；高斯分布 1 引言 視頻監(jiān)控已經(jīng)在生產(chǎn)實(shí)踐和社會(huì)生活的許多方面得到了廣泛的應(yīng)用．在許多場(chǎng)合，視頻監(jiān)控是人所無法取代的．智能視頻監(jiān)控的主要任務(wù)是通過自動(dòng)地、實(shí)時(shí)地分析所監(jiān)控場(chǎng)景的視頻圖像序列來發(fā)現(xiàn)場(chǎng)景中的活動(dòng)目標(biāo)，并識(shí)別和跟蹤目標(biāo)，及時(shí)地給出信息反饋以及不正?，F(xiàn)象的警報(bào)等．從—個(gè)視頻序列中檢測(cè)動(dòng)態(tài)目標(biāo)是視頻監(jiān)控的首要而基本的任務(wù)．目前，許多跟蹤系統(tǒng)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)都依賴于背景提取技術(shù)，也就是將當(dāng)前輸入的圖像幀與參考的背景模型相比較，根據(jù)當(dāng)前幀的像素值與背景模型的偏離程度，來判斷該像素是目標(biāo)像素還是背景像素．然后，對(duì)那些被認(rèn)為是目標(biāo)的像素做進(jìn)一步處理以便識(shí)別目標(biāo)、確定目標(biāo)的位置，進(jìn)而實(shí)現(xiàn)跟蹤．背景的提取技術(shù)被廣泛應(yīng)用于諸如視頻監(jiān)控這樣的跟蹤系統(tǒng)．目前已提出了許多構(gòu)建背景模型的方法．簡(jiǎn)單的背景模型可以是一幅沒有移動(dòng)物體的圖像，而復(fù)雜的背景模型則是一種不斷更新的統(tǒng)計(jì)量模型．然而，現(xiàn)實(shí)世界是復(fù)雜多變的，例如晃動(dòng)的樹、水中的波紋、閃爍的顯示器、變化的照明等．為了處理這些復(fù)雜的情況，背景模型變得越來越復(fù)雜，這對(duì)系統(tǒng)所要求的實(shí)時(shí)處理提出了挑戰(zhàn)． 現(xiàn)實(shí)中的視頻監(jiān)控要求背景模型不但能很好地處理復(fù)雜的情況，而且還要考慮實(shí)時(shí)計(jì)算能否得到滿足．目前所提出的背景模型多數(shù)是以像素為單位建立的，這些像素被看成是相互獨(dú)立的隨機(jī)變量，每個(gè)像素被單獨(dú)地決策成背景或前景（目標(biāo)）．然而，單個(gè)像素本身有時(shí)不能說明太多的問題，比如噪聲點(diǎn)．事實(shí)上，對(duì)沒有目標(biāo)的區(qū)域，圖像本身的結(jié)構(gòu)具有相對(duì)的穩(wěn)定性，因此在目標(biāo)提取過程中僅對(duì)單像素進(jìn)行分析會(huì)產(chǎn)生大量冗余信息，不可避免地會(huì)對(duì)算法的實(shí)際執(zhí)行效率產(chǎn)生影響．而對(duì)相鄰的多個(gè)像素進(jìn)行整體處理是減少計(jì)算冗余、提高執(zhí)行效率的一種途徑．因此本文提出了一種基于圖像塊的多像素背景模型的構(gòu)建方法． 2 前期的相關(guān)工作 背景模型是背景提取方法的核心，針對(duì)不同的應(yīng)用場(chǎng)合，已經(jīng)提出了許多背景模型．目前，研究的熱點(diǎn)集中于背景模型對(duì)環(huán)境變化的魯棒性和對(duì)運(yùn)動(dòng)目標(biāo)的敏感性上．現(xiàn)在，人們普遍放棄使用靜態(tài)的背景模型，而采用一階濾波器實(shí)時(shí)地對(duì)當(dāng)前的背景模 型進(jìn)行更新．基本背景模型提取法首先要求出當(dāng)前圖像和背景圖像在RGB三個(gè)通道的差，通過一個(gè)閾值來分類哪些像素為前景，哪些為背景．這是早期的背景提取方法，它反映了基于背景模型的運(yùn)動(dòng)目標(biāo)提取方法的原始思想．w 方法 是由Haritaoglu提出來的，該方法的背景模型是將每一像素對(duì)應(yīng)3個(gè)值，即在一個(gè)訓(xùn)練周期內(nèi)求像素的最大值Max、最小值Min和連續(xù)兩幀的最大差D．對(duì)每一像素，利用以下不等式來判別它是目標(biāo)還是背景：已知Min、Max和D，如果像素，（P）滿足以下不等式，則為前景： Wren在文中提出一種單Gauss模型．這種模型將像素表示成YUV的形式，每一個(gè)像素值的分布對(duì)應(yīng)一個(gè)Gauss函數(shù)P（X，，U ），確定某個(gè)閾值，利用Mahalanobis距離對(duì)每一像素進(jìn)行分類，即如果，則將X 分類為背景，否則將 分類為前景（即目標(biāo)）．單Gauss模型的自適應(yīng)改進(jìn)形式是利用一個(gè)簡(jiǎn)單的自適應(yīng)濾波器不斷地更新Gauss模型的參數(shù)： 其中 為小于1的正的常數(shù)．但上述模型在動(dòng)態(tài)（多模態(tài)）的自然環(huán)境中，例如環(huán)境中有晃動(dòng)的樹、水中的波紋等，執(zhí)行的結(jié)果不能令人滿意．為了有效地處理這種情況，1997年Friedman和Russell提出了一種混合Gauss背景模型用于交通監(jiān)視系統(tǒng)．該背景模型把上述的動(dòng)態(tài)情形看成是離散過程，這些過程均服從Gauss分布，這樣每個(gè)像素就可以用一個(gè)多分量的Gauss混合分布函數(shù)來刻畫．該方法可以模型化多模態(tài)的背景環(huán)境，它是目前描述復(fù)雜背景比較成功的模型．許多文獻(xiàn)對(duì)Gauss混合模型進(jìn)行了討論+文[4]中敘述了一種具有更新能力的Gauss混合模型算法，該算法用在線的K均值近似算法來代替精確的EM（ExpectationMaximum）算法．之后有許多作者對(duì)此算法提出了改進(jìn)和擴(kuò)充．提出了新的混合模型更新算法．不但對(duì)參數(shù)進(jìn)行更新，而且對(duì)混合模型的分量個(gè)數(shù)提出了優(yōu)化算法．文[7]提出了基于Gauss混合模型的貝葉斯公式，并將它用于背景的分割，其背景分割由兩個(gè)獨(dú)立問題所組成，一個(gè)是估計(jì)像素點(diǎn)的Gauss混合分布，另一個(gè)是評(píng)價(jià)在Gauss混合模型中每一分量成為背景的可能性． Gauss混合背景模型把某一像素在過去一段時(shí)間內(nèi)的值看作是“像素過程”，即像素值的時(shí)間序列，例如灰度值或彩色圖像的向量值，某個(gè)特定像素P，在時(shí)刻t已知它的歷史： 其中，是圖像序列，把每一像素抽象化為K個(gè)分量的高斯混合分布的模型．這樣每一像素的概率為： （1） 其中K為混合模型中分布的數(shù)量，W 為混合模型中第i個(gè)高斯分布的權(quán)值估計(jì)，和為第i個(gè)高斯分布均值和協(xié)方差矩陣．在時(shí)刻t： Heikkila和Pietikainen在文[8]中提出一種基于紋理的背景模型方法，此方法將每個(gè)像素對(duì)應(yīng)一個(gè)模型，該模型是一個(gè)自適應(yīng)的局部二值形式的直方圖的組，這些直方圖是通過圍繞該像素的環(huán)狀區(qū)域計(jì)算得到的． 3 基于圖像塊的混合高斯背景模型 上面所述背景模型多數(shù)是以單個(gè)像素的形式建立的，盡管單個(gè)像素形式的模型具有準(zhǔn)確、靈活等優(yōu)點(diǎn)，但l=0時(shí)存在系統(tǒng)執(zhí)行效率不高的缺點(diǎn)．這是由于單像素形式的背景模型孤立地處理每一像素，事實(shí)上，在沒有移動(dòng)目標(biāo)的區(qū)域中，相鄰像素之間具有某種結(jié)構(gòu)，這種結(jié)構(gòu)通常是相對(duì)穩(wěn)定的，例如，當(dāng)外界的光線發(fā)生變化時(shí)，一般來說，背景中的像素是同時(shí)變亮或變暗．統(tǒng)計(jì)表明，結(jié)構(gòu)穩(wěn)定的背景在整個(gè)圖像中占有絕對(duì)多的比例，而移動(dòng)目標(biāo)在圖像中只占比較小的比例．這樣，在利用單像素的背景模型提取移動(dòng)目標(biāo)時(shí)會(huì)產(chǎn)生大量冗余計(jì)算，為了解決這一問題，我們嘗試將圖像分塊，利用圖像塊的特征建立背景 模型．下面就針對(duì)圖像塊給出背景建模方法．為了簡(jiǎn)化討論，假設(shè)圖像是灰度圖像．設(shè)，Km （ x，y）為一個(gè)m×m像素的圖像塊 （x，y）表示該圖像塊左上角的坐標(biāo)．在2×2的情況下，圖像塊中前景像素的分布組合有以下5種： 3.1 圖像塊特征的選取 將圖像塊設(shè)定為相鄰像素的方形塊，以2×2的圖像塊為例，圖1給出了前景在圖像塊的各種分布情況的理想狀態(tài)．一般地講，圖像塊越大，要處理的塊數(shù)就越少，效率就越高，但對(duì)局部目標(biāo)敏感度就越小，目標(biāo)的精確度就會(huì)變差，因?yàn)榍熬八急壤〉膱D像塊的個(gè)數(shù)會(huì)增加，例如圖1中（b）和（c）的情形．隨著圖像的增大，圖像塊的特征選取變得復(fù)雜．綜合考慮識(shí)別目標(biāo)的敏感性和識(shí)別目標(biāo)的精確性以及處理問題的效率，一般選擇nz=2比較合適．可以有多種方式引入特征，最簡(jiǎn)單的情形是任意選擇圖像塊中的一個(gè)像素為代表，或以圖像塊的均值為特征．以下我們提出幾種提取特征的方案． （1）圖像塊中心點(diǎn)，即=中心點(diǎn)像素； （2）選取若干點(diǎn)的組合作為圖像塊的代表點(diǎn)，例如可選擇圖像塊的對(duì)角線上的點(diǎn)； （3）圖像塊均值，即 （4）圖像塊的行均值或圖像塊的列均值； （5）圖像塊的幅度值， （6）圖像塊的行幅度值或列幅度值．由于所有特征都是圖像塊中像素的線性組合， 因此當(dāng)像素值 服從正態(tài)分布時(shí)，所有特征A作為原像素的線性運(yùn)算的結(jié)果，也服從正態(tài)分布．若，其中X是由若干個(gè)像素組成的向量； 為v與X同維數(shù)的向量，則有： （3） 圖像塊中的像素點(diǎn)值的變化能夠反映到特征值的變化上，這樣就可以對(duì)特征A（而不是對(duì)像素值）建立背景模型，以此來判斷圖像塊（而不是判斷像素）是背景還是目標(biāo)．例如，可以對(duì)特征A使用w 方法，求在一個(gè)訓(xùn)練周期內(nèi)特征的最大值、最小值和連續(xù)兩幀的最大差，利用不等式來判斷該圖像塊是背景圖像塊還是前景圖像塊．由于特征也服從Gauss分布，所以也可以對(duì)特征A建立單Gauss背景模型．下面針對(duì)從圖像塊中選取的幾個(gè)特征A，建立分塊的混合Gauss背景模型． 3．2 基于圖像塊特征的自適應(yīng)的高斯混合模型 在3．1節(jié)給出的特征中，選擇其中的一個(gè)或幾個(gè)特征：構(gòu)成特征向量，令http://m.u63ivq3.com/uploadpic/THESIS/2008/3/20080310174649592244.jpg[/img]。 采用文[4]給出的混合Gauss分布的形式和參數(shù)更新方法．選擇一個(gè)時(shí)間周期，給出， 具有K個(gè)分量的高斯混合密度（GMM）： （4） 其中 （5） 或為第i個(gè)分量在總體分布中所占的比例，也稱為第i個(gè)分量權(quán)值．基于像素間相互獨(dú)立的假設(shè)，可以得出特征之間也是相互獨(dú)立的．為了簡(jiǎn)化計(jì)算，可以進(jìn)一步假設(shè)他們具有同樣的方差，因而協(xié)方差矩陣可以簡(jiǎn)化為，其中 為單位降這種假設(shè)可以避免復(fù)雜計(jì)算引起誤差加大．關(guān)系式（4）說明了每一圖像塊的特征向量，則認(rèn)為匹配成功．實(shí)驗(yàn)表明對(duì)于2×2的圖像塊，取4比較合適．如果當(dāng)前的特征向量的值不能匹配 個(gè)分布中的任何一個(gè)，則最小概率的分布將被另一個(gè)新的分布所替換．這個(gè)新的分布以當(dāng)前圖像塊的特征向量的值為均值，并且賦給它一個(gè)較大的初始方差和一個(gè)較小的權(quán)值，即oro．其中 是一個(gè)較大的初始方差． 在上述匹配工作完成后，接下來的工作就是用當(dāng)前值來更新此模型．首先對(duì)當(dāng)前t時(shí)刻，K個(gè)分布的優(yōu)先權(quán)值調(diào)整如下： （6） 其中，是學(xué)習(xí)速度．這種修改可以作如下解釋：當(dāng)?shù)趇個(gè)分布被匹配成功時(shí)，平滑地增加此分布的權(quán)值；對(duì)其它的高斯分布的權(quán)值做指數(shù)級(jí)衰減．此項(xiàng)工作完成后，再對(duì)這些修改后的優(yōu)先權(quán)值進(jìn)行歸一化處理．下一步，要對(duì)分布參數(shù)進(jìn)行修改．對(duì)未匹配成功的分量的高斯分布參數(shù)和不做修改，只修改與新觀察相匹配的分布參數(shù)，更新如下： （7） （8） 其中，稱為參數(shù)的更新速。 背景應(yīng)該較前景具有更多的穩(wěn)定性，背景圖像塊出現(xiàn)的概率要遠(yuǎn)遠(yuǎn)地大于目標(biāo)圖像塊．在混合Gauss分布中，背景的分量在圖像序列中被匹配成功的機(jī)會(huì)較大，導(dǎo)致相應(yīng)的優(yōu)先權(quán)值較大．另外，如果出現(xiàn)一個(gè)新目標(biāo)，那么它或者會(huì)產(chǎn)生一個(gè)新的分量，或者會(huì)增大現(xiàn)有分量的方差．將高斯函數(shù)按比率排序，這一順序是按高斯優(yōu)先權(quán)值增大和方差減小來排列的．與順序在后的分量相比，順序在前的分量是背景的可能性大于順序在后的分量．從前向后對(duì)優(yōu)先權(quán)值取和，將其和占據(jù) 部分的前 個(gè)分布定義為背景． 其中， 表示T在整個(gè)分布中背景最小部分的度量．這里取最好的分布直到其權(quán)值的和占數(shù)據(jù)T部分為止．如果圖像塊的特征與前B個(gè)分量匹配成功，就判定為背景，否則為前景．混合Gauss模型的優(yōu)點(diǎn)之一是能很好地處理前景對(duì)背景的干擾，當(dāng)一個(gè)運(yùn)動(dòng)目標(biāo)停止下來變?yōu)楸尘皶r(shí)，此算法并不銷毀現(xiàn)存的背景模型，原來的背景分布仍然在混合模型中，直到變成比率最小而被新的分量所替換．但是，當(dāng)目標(biāo)停止的時(shí)間不是很長(zhǎng)而又重新開始運(yùn)動(dòng)時(shí)，原來的背景很快得以恢復(fù)．反過來，對(duì)變?yōu)殪o止的目標(biāo)，通過若干幀的更新，可以使其會(huì)融化成為背景，提高了對(duì)靜止目標(biāo)的吸收速度． 4 目標(biāo)的分割 由于有圖像噪聲和圖像塊誤差的影響，因此在將區(qū)域劃分成連通集之前，一般都要先進(jìn)行去噪處理．這一步可以通過數(shù)學(xué)形態(tài)學(xué)運(yùn)算實(shí)現(xiàn)，利用腐蝕和膨脹算子去除孤立的噪聲點(diǎn)、填補(bǔ)目標(biāo)區(qū)域的小子L以及合并相鄰的連通區(qū)域等．我們之所以可以這樣做，是因?yàn)橐曨l監(jiān)控的多數(shù)應(yīng)用都假設(shè)運(yùn)動(dòng)目標(biāo)區(qū)域是大于某個(gè)尺寸的．在去除噪聲之后，利用連通區(qū)域檢測(cè)算法，求出各個(gè)連通集．常用的連通檢測(cè)算子有四連通和八連通兩種．求出的區(qū)域連通分支是前景點(diǎn)的一種等價(jià)關(guān)系，按連通關(guān)系劃分為若干個(gè)等價(jià)類（連通集），即各個(gè)目標(biāo)．由于圖像塊的顆粒比像素大，因此得到的前景區(qū)域具有一定的誤差．若單從運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤的觀點(diǎn)來看，并不需要進(jìn)一步處理，因?yàn)榇藭r(shí)檢測(cè)出的目標(biāo)的質(zhì)心與原目標(biāo)的質(zhì)心偏差不是很大．但在有些場(chǎng)合（例如目標(biāo)的識(shí)別），需要對(duì)目標(biāo)進(jìn)行精細(xì)化處理．這時(shí)可以采取以下方法對(duì)這些前景圖像塊區(qū)域進(jìn)行處理． 時(shí)問差分法將圖像塊區(qū)域和它的前一幅圖像相應(yīng)的區(qū)域做差分，但是利用這種方法對(duì)目標(biāo)進(jìn)行提取，和運(yùn)動(dòng)方向相同一側(cè)的邊緣效果比較好，而和目標(biāo)運(yùn)動(dòng)反方向一側(cè)的效果不好．另一種方法是考慮目標(biāo)空間的連續(xù)性，利用區(qū)域生長(zhǎng)法可以求區(qū)域內(nèi)部的像素的均值將區(qū)域的邊緣的像素與均值進(jìn)行比較，設(shè)置一個(gè)閾值，當(dāng)差值超過此閾值時(shí)就將其從前景區(qū)域中刪除．另外，可以根據(jù)顏色一致性，對(duì)區(qū)域的邊緣進(jìn)行增刪處理．但這些處理的范圍不要超出一個(gè)圖像塊的尺寸．除此之外，利用邊緣檢測(cè)方法提取目標(biāo)的輪廓線也是對(duì)圖像塊區(qū)域進(jìn)一步處理可考慮的手段． 5 實(shí)驗(yàn) 為了分析分塊背景模型的效果，我們對(duì)一組含有420幀的320×240視頻圖像分別進(jìn)行了兩組實(shí)驗(yàn)，該視頻是交通路口的監(jiān)測(cè)情景，路口上有非靜止?fàn)顟B(tài)的樹，有行人和車輛以及轉(zhuǎn)動(dòng)的廣告牌等，場(chǎng)景比較復(fù)雜．實(shí)驗(yàn)分別對(duì)Gauss混合模型的像素的形式和圖像分塊形式進(jìn)行了比較驗(yàn)證． 5．1 實(shí)驗(yàn)參數(shù)的選擇 本實(shí)驗(yàn)采用Matlab 7．0編程，混合Gauss背景模型含有4個(gè)分量，圖像塊的大小為2×2，從每個(gè)圖像塊中選擇兩個(gè)特征，分別為混合模型的參數(shù)為：像素形式的背景閾值T=0．97，權(quán)值的更新速度 =0．002，用2．5倍的標(biāo)準(zhǔn)方差；分塊形式的背景閩值T=0．98，權(quán)值的更新速度= O．002，用4倍的標(biāo)準(zhǔn)方差．兩種算法的初始化均為：以視頻圖像的第1幀的像素值作為第1個(gè)Gauss分量的初始均值，其他3個(gè)分量的均值的初始值為0，所有4個(gè)Gauss分量的初始方差均為4，4個(gè)分量的初始權(quán)值分別為0．4、0．2、0．2、0．2． 5．2 實(shí)驗(yàn)結(jié)果分析 視頻開始時(shí)，路口的紅綠燈使圖像中的上下方向的車輛處于停止?fàn)顟B(tài)．圖像中的右部有一個(gè)轉(zhuǎn)動(dòng)的廣告牌，作為運(yùn)動(dòng)目標(biāo)被檢測(cè)出來．大約第90幀左右，圖像的右端方向出現(xiàn)一輛白車，緊接著該路口又出現(xiàn)一輛黑車，實(shí)驗(yàn)檢測(cè)出從右邊出現(xiàn)的車輛，從視頻中提取10幀分別是第101、131、181、201、231、271、281、331、351、371幀．處理結(jié)果見圖2，圖2中3幅圖像為一組，第1行為圖像的原始幀，第2行的圖像為采用2×2分塊Gauss混合背景模型對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行檢測(cè)的結(jié)果，第3行的圖像為采用像素形式的Gauss混合背景模型對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行檢測(cè)的結(jié)果．實(shí)驗(yàn)結(jié)果表明，分塊背景模型對(duì)較大目標(biāo)的檢測(cè)水平與像素形式的背景模型相當(dāng)．對(duì)較小目標(biāo)的檢測(cè)，分塊形式的背景模型的檢測(cè)效果要優(yōu)于像素形式的背景模型，這從圖2中的（al01）、（b131）、（h331）、（i351）可以看出．從精度上來說，像素形式背景模型要優(yōu)于分塊形式的背景模型． [align=center] [/align] 實(shí)驗(yàn)同時(shí)也表明，分塊的背景模型的處理速度大大優(yōu)于像素形式的背景模型。圖3給出了在相同的計(jì)算環(huán)境下，2×2分塊Gauss混合模型與像素形式的Gauss混合模型平均處理速度之比，從圖中可以看出2×2分塊背景模型的平均處理速度比像素形式的背景模型提高3倍多． 6 結(jié)論 本文提出了一種利用圖像分塊來構(gòu)建背景模型的方法．給出了圖像分塊的方式以及圖像塊常用的幾種特征．論述了基于圖像塊特征來構(gòu)建自適應(yīng)的高斯混合模型的方法，并對(duì)該方法進(jìn)行了實(shí)驗(yàn)分析．實(shí)驗(yàn)表明，盡管分塊后移動(dòng)目標(biāo)的檢測(cè)精度受到影響，但是提高了對(duì)小的移動(dòng)目標(biāo)的檢測(cè)率．在運(yùn)算速度上，在系統(tǒng)軟硬件環(huán)境相同的條件下，2×2分塊模型的處理速度比像素形式的背景模型提高3倍以上。