投影儀攝像機(jī)系統(tǒng)的研究在當(dāng)前的人機(jī)交互領(lǐng)域中備受關(guān)注，由于攝像機(jī)和投影儀系統(tǒng)硬件設(shè)備的便攜性，該技術(shù)給互動(dòng)投影在嵌入式移動(dòng)設(shè)備上的應(yīng)用帶來(lái)了很大的機(jī)遇。本文提出了基于單目攝像機(jī)與投影儀系統(tǒng)能夠在任意平面徒手觸摸的交互系統(tǒng)，包括前景區(qū)域分割、指尖點(diǎn)的定位以及觸摸檢測(cè)三個(gè)部分。結(jié)合投影圖像與攝像機(jī)圖像反射率對(duì)比的顯著性檢測(cè)方法，并融合均值漂移實(shí)現(xiàn)了圖像前景手臂區(qū)域的分割；對(duì)前景輪廓的邊緣進(jìn)行檢測(cè)，并對(duì)邊緣點(diǎn)序列進(jìn)行曲率計(jì)算，根據(jù)曲率極值與輪廓重心的距離約束條件來(lái)定位指尖點(diǎn)位置；基于空間結(jié)構(gòu)光編碼測(cè)量技術(shù)的思想提出了自適應(yīng)編碼的方法，通過(guò)嵌入在幀間投影圖像中的自適應(yīng)編碼，判斷指尖點(diǎn)與投影平面的空間距離，實(shí)現(xiàn)觸摸檢測(cè)。

系統(tǒng)框架與算法原理

本文采用基于DLP（DigitalLightProcession）技術(shù)的便攜式投影儀與單個(gè)普通可見(jiàn)光攝像機(jī)固定在一起組成的互動(dòng)投影系統(tǒng)，通過(guò)投影儀將背景畫(huà)面投射在任意的規(guī)則平面上，如白紙、墻壁、桌面等，由攝像機(jī)捕捉用戶在投影屏幕上的交互手勢(shì)圖像，經(jīng)數(shù)據(jù)接口傳輸給計(jì)算機(jī)進(jìn)行處理，對(duì)前景手臂區(qū)域分割提取并檢測(cè)指尖點(diǎn)的位置，最后采用自適應(yīng)結(jié)構(gòu)光編碼的方法檢測(cè)指尖觸摸投影平面的操作，并由計(jì)算機(jī)執(zhí)行相應(yīng)的操控，實(shí)現(xiàn)觸控的投影交互方式。

基于指尖觸控的互動(dòng)投影系統(tǒng)算法原理框架流程如圖1所示。通過(guò)計(jì)算機(jī)視覺(jué)的方法對(duì)指尖觸摸進(jìn)行檢測(cè)，主要可以分為前景手臂區(qū)域檢測(cè)、指尖點(diǎn)定位以及觸摸檢測(cè)三大部分。

圖1 系統(tǒng)算法流程圖

為了檢測(cè)指尖點(diǎn)觸摸的位置，系統(tǒng)需要對(duì)投影背景上的前景手臂區(qū)域進(jìn)行提取分割。在互動(dòng)投影人機(jī)交互系統(tǒng)中，由于投影背景畫(huà)面的多樣性，傳統(tǒng)的圖像分割方法比較難以準(zhǔn)確實(shí)現(xiàn)前景的手臂區(qū)域提取。本文根據(jù)手臂皮膚對(duì)光照的反射率與投影屏幕物體表面的反射率差異性來(lái)檢測(cè)前景區(qū)域的顯著性特征。假設(shè)周圍環(huán)境光的影響為Q，投影平面物體的表面反射率為A，攝像機(jī)在像素級(jí)的顏色轉(zhuǎn)換函數(shù)為C，視覺(jué)回饋圖像的亮度值為E，則有：

經(jīng)過(guò)mean-shift的圖像分割抽象后，攝像機(jī)采集圖像的前景與背景的細(xì)節(jié)紋理均已被消除，圖像的像素點(diǎn)分類成M個(gè)不同的圖像區(qū)域。系統(tǒng)算法通過(guò)融合顯著性特征圖以及mean-shift分割平滑細(xì)節(jié)后的圖像來(lái)實(shí)現(xiàn)前景手臂區(qū)域的提取。

(a)投影背景圖像；(b)攝像機(jī)采集圖像；(c)基于反射率對(duì)比的顯著性檢測(cè)結(jié)果；(d)均值漂移圖像分割結(jié)果；(e)顯著性圖與均值漂移分割的融合結(jié)果；(f)最終前景分割結(jié)果

圖2 基于顯著性檢測(cè)的前景提取

觸摸檢測(cè)

基于指尖觸摸的互動(dòng)投影系統(tǒng)需要對(duì)用戶在投影儀平面上交互的指尖觸摸進(jìn)行檢測(cè)，指尖點(diǎn)的定位是準(zhǔn)確判斷觸摸位置的基礎(chǔ)。如圖3所示，本文的指尖點(diǎn)定位檢測(cè)是基于曲率極值的方法來(lái)實(shí)現(xiàn)。首先，對(duì)手臂區(qū)域分割后的前景基于Canny算子檢測(cè)邊緣輪廓點(diǎn)；其次，對(duì)所有的邊緣序列點(diǎn)計(jì)算對(duì)應(yīng)的曲率，通過(guò)尋找曲率的極大值可以獲取指尖位置的候選點(diǎn)；再次，在對(duì)前景輪廓提取完曲率的極大值點(diǎn)后，我們發(fā)現(xiàn)手掌的輪廓曲率較大的不僅包含指尖點(diǎn)的位置，還有手指之間夾縫的峰谷點(diǎn)，但可以根據(jù)候選點(diǎn)與手掌區(qū)域輪廓的重心距離來(lái)排除；最后，將每個(gè)候選點(diǎn)距離較近的點(diǎn)分類成一個(gè)組合，稱為同一個(gè)手指上的候選點(diǎn)，而距離較大的分類在不同的組，一個(gè)手掌區(qū)域總共可以分成五個(gè)組，每個(gè)組的點(diǎn)取平均值作為最終的指尖點(diǎn)返回。

觸摸檢測(cè)的實(shí)現(xiàn)是基于一種自適應(yīng)結(jié)構(gòu)光編碼，系統(tǒng)根據(jù)前面檢測(cè)到的用戶前景指尖點(diǎn)位置后，將結(jié)構(gòu)光的圖案編碼投射在指尖點(diǎn)附近的小領(lǐng)域范圍內(nèi)，并且該結(jié)構(gòu)光圖案的顏色通道會(huì)隨著投影背景畫(huà)面中相應(yīng)位置的像素值而自適應(yīng)的改變。在投影儀前后兩幀投影圖像嵌入自適應(yīng)結(jié)構(gòu)光編碼，彩色編碼圖案通過(guò)對(duì)背景像素點(diǎn)的亮度值添加或減少一個(gè)固定編碼值，從而減少本身對(duì)背景畫(huà)面的視覺(jué)干擾。

本文采用的自適應(yīng)結(jié)構(gòu)光編碼主要由三種不同形狀的幾何圖案組成，分別為條形、方形和方框。三種幾何圖案在紅、綠、藍(lán)、黑四種顏色通道隨機(jī)生成彩色結(jié)構(gòu)光編碼。如圖3所示，圖像上每個(gè)像素點(diǎn)的碼字是以該點(diǎn)為中心的鄰近3×3的子窗口幾何圖案構(gòu)成的特征向量。

圖3自適應(yīng)結(jié)構(gòu)光編碼圖案

三種不同的幾何結(jié)構(gòu)圖案與四種顏色通道可以組成12個(gè)不同的特征基元。具體每個(gè)基元圖案的編碼如表1所示，系統(tǒng)定義圖像上任意點(diǎn)以其為中心的3×3鄰近的圖案構(gòu)成的子窗口作為該點(diǎn)的碼字，不同的子窗口碼字具有獨(dú)特性，而且與鄰域窗口的碼字差異很大。圖3為自適應(yīng)編碼的碼字定義方式，每個(gè)窗口的碼字編碼為子窗口中從左至右，從上至下的9個(gè)基元圖案組成的特征向量。一般來(lái)說(shuō)，子窗口與鄰域之間的碼字的漢明距離差異越大，解碼恢復(fù)物體三維深度信息出錯(cuò)概率越小，抗噪性能越強(qiáng)。本文提出的自適應(yīng)編碼任意兩個(gè)子窗口之間碼字的平均漢明距離達(dá)到8.2551，均大于偽隨機(jī)編碼、M-陣列的空間編碼以及幾何圖形編碼等方案，相比于目前空間結(jié)構(gòu)編碼的方案，不容易受到圖像噪聲的干擾，穩(wěn)定性更高。

在編碼過(guò)程，當(dāng)系統(tǒng)檢測(cè)到某一幀圖像上的指尖點(diǎn)位置后，在以指尖點(diǎn)為中心附近的鄰域窗口進(jìn)行自適應(yīng)結(jié)構(gòu)光編碼，采用如下的公式：

圖4 觸摸檢測(cè)原理

更多資訊請(qǐng)關(guān)注人機(jī)界面頻道