技術(shù)頻道

娓娓工業(yè)
您現(xiàn)在的位置: 中國(guó)傳動(dòng)網(wǎng) > 技術(shù)頻道 > 技術(shù)百科 > 基于指尖觸控的互動(dòng)投影系統(tǒng)

基于指尖觸控的互動(dòng)投影系統(tǒng)

時(shí)間:2017-07-25 17:27:20來(lái)源:中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院

導(dǎo)語(yǔ):?本文提出了基于單目攝像機(jī)與投影儀系統(tǒng)能夠在任意平面徒手觸摸的交互系統(tǒng),包括前景區(qū)域分割、指尖點(diǎn)的定位以及觸摸檢測(cè)三個(gè)部分。

投影儀攝像機(jī)系統(tǒng)的研究在當(dāng)前的人機(jī)交互領(lǐng)域中備受關(guān)注,由于攝像機(jī)和投影儀系統(tǒng)硬件設(shè)備的便攜性,該技術(shù)給互動(dòng)投影在嵌入式移動(dòng)設(shè)備上的應(yīng)用帶來(lái)了很大的機(jī)遇。本文提出了基于單目攝像機(jī)與投影儀系統(tǒng)能夠在任意平面徒手觸摸的交互系統(tǒng),包括前景區(qū)域分割、指尖點(diǎn)的定位以及觸摸檢測(cè)三個(gè)部分。結(jié)合投影圖像與攝像機(jī)圖像反射率對(duì)比的顯著性檢測(cè)方法,并融合均值漂移實(shí)現(xiàn)了圖像前景手臂區(qū)域的分割;對(duì)前景輪廓的邊緣進(jìn)行檢測(cè),并對(duì)邊緣點(diǎn)序列進(jìn)行曲率計(jì)算,根據(jù)曲率極值與輪廓重心的距離約束條件來(lái)定位指尖點(diǎn)位置;基于空間結(jié)構(gòu)光編碼測(cè)量技術(shù)的思想提出了自適應(yīng)編碼的方法,通過(guò)嵌入在幀間投影圖像中的自適應(yīng)編碼,判斷指尖點(diǎn)與投影平面的空間距離,實(shí)現(xiàn)觸摸檢測(cè)。

系統(tǒng)框架與算法原理

本文采用基于DLP(DigitalLightProcession)技術(shù)的便攜式投影儀與單個(gè)普通可見(jiàn)光攝像機(jī)固定在一起組成的互動(dòng)投影系統(tǒng),通過(guò)投影儀將背景畫(huà)面投射在任意的規(guī)則平面上,如白紙、墻壁、桌面等,由攝像機(jī)捕捉用戶在投影屏幕上的交互手勢(shì)圖像,經(jīng)數(shù)據(jù)接口傳輸給計(jì)算機(jī)進(jìn)行處理,對(duì)前景手臂區(qū)域分割提取并檢測(cè)指尖點(diǎn)的位置,最后采用自適應(yīng)結(jié)構(gòu)光編碼的方法檢測(cè)指尖觸摸投影平面的操作,并由計(jì)算機(jī)執(zhí)行相應(yīng)的操控,實(shí)現(xiàn)觸控的投影交互方式。

基于指尖觸控的互動(dòng)投影系統(tǒng)算法原理框架流程如圖1所示。通過(guò)計(jì)算機(jī)視覺(jué)的方法對(duì)指尖觸摸進(jìn)行檢測(cè),主要可以分為前景手臂區(qū)域檢測(cè)、指尖點(diǎn)定位以及觸摸檢測(cè)三大部分。

圖1 系統(tǒng)算法流程圖

為了檢測(cè)指尖點(diǎn)觸摸的位置,系統(tǒng)需要對(duì)投影背景上的前景手臂區(qū)域進(jìn)行提取分割。在互動(dòng)投影人機(jī)交互系統(tǒng)中,由于投影背景畫(huà)面的多樣性,傳統(tǒng)的圖像分割方法比較難以準(zhǔn)確實(shí)現(xiàn)前景的手臂區(qū)域提取。本文根據(jù)手臂皮膚對(duì)光照的反射率與投影屏幕物體表面的反射率差異性來(lái)檢測(cè)前景區(qū)域的顯著性特征。假設(shè)周圍環(huán)境光的影響為Q,投影平面物體的表面反射率為A,攝像機(jī)在像素級(jí)的顏色轉(zhuǎn)換函數(shù)為C,視覺(jué)回饋圖像的亮度值為E,則有:

經(jīng)過(guò)mean-shift的圖像分割抽象后,攝像機(jī)采集圖像的前景與背景的細(xì)節(jié)紋理均已被消除,圖像的像素點(diǎn)分類成M個(gè)不同的圖像區(qū)域。系統(tǒng)算法通過(guò)融合顯著性特征圖以及mean-shift分割平滑細(xì)節(jié)后的圖像來(lái)實(shí)現(xiàn)前景手臂區(qū)域的提取。

(a)投影背景圖像;(b)攝像機(jī)采集圖像;(c)基于反射率對(duì)比的顯著性檢測(cè)結(jié)果;(d)均值漂移圖像分割結(jié)果;(e)顯著性圖與均值漂移分割的融合結(jié)果;(f)最終前景分割結(jié)果

圖2 基于顯著性檢測(cè)的前景提取

觸摸檢測(cè)

基于指尖觸摸的互動(dòng)投影系統(tǒng)需要對(duì)用戶在投影儀平面上交互的指尖觸摸進(jìn)行檢測(cè),指尖點(diǎn)的定位是準(zhǔn)確判斷觸摸位置的基礎(chǔ)。如圖3所示,本文的指尖點(diǎn)定位檢測(cè)是基于曲率極值的方法來(lái)實(shí)現(xiàn)。首先,對(duì)手臂區(qū)域分割后的前景基于Canny算子檢測(cè)邊緣輪廓點(diǎn);其次,對(duì)所有的邊緣序列點(diǎn)計(jì)算對(duì)應(yīng)的曲率,通過(guò)尋找曲率的極大值可以獲取指尖位置的候選點(diǎn);再次,在對(duì)前景輪廓提取完曲率的極大值點(diǎn)后,我們發(fā)現(xiàn)手掌的輪廓曲率較大的不僅包含指尖點(diǎn)的位置,還有手指之間夾縫的峰谷點(diǎn),但可以根據(jù)候選點(diǎn)與手掌區(qū)域輪廓的重心距離來(lái)排除;最后,將每個(gè)候選點(diǎn)距離較近的點(diǎn)分類成一個(gè)組合,稱為同一個(gè)手指上的候選點(diǎn),而距離較大的分類在不同的組,一個(gè)手掌區(qū)域總共可以分成五個(gè)組,每個(gè)組的點(diǎn)取平均值作為最終的指尖點(diǎn)返回。

觸摸檢測(cè)的實(shí)現(xiàn)是基于一種自適應(yīng)結(jié)構(gòu)光編碼,系統(tǒng)根據(jù)前面檢測(cè)到的用戶前景指尖點(diǎn)位置后,將結(jié)構(gòu)光的圖案編碼投射在指尖點(diǎn)附近的小領(lǐng)域范圍內(nèi),并且該結(jié)構(gòu)光圖案的顏色通道會(huì)隨著投影背景畫(huà)面中相應(yīng)位置的像素值而自適應(yīng)的改變。在投影儀前后兩幀投影圖像嵌入自適應(yīng)結(jié)構(gòu)光編碼,彩色編碼圖案通過(guò)對(duì)背景像素點(diǎn)的亮度值添加或減少一個(gè)固定編碼值,從而減少本身對(duì)背景畫(huà)面的視覺(jué)干擾。

本文采用的自適應(yīng)結(jié)構(gòu)光編碼主要由三種不同形狀的幾何圖案組成,分別為條形、方形和方框。三種幾何圖案在紅、綠、藍(lán)、黑四種顏色通道隨機(jī)生成彩色結(jié)構(gòu)光編碼。如圖3所示,圖像上每個(gè)像素點(diǎn)的碼字是以該點(diǎn)為中心的鄰近3×3的子窗口幾何圖案構(gòu)成的特征向量。

圖3自適應(yīng)結(jié)構(gòu)光編碼圖案

三種不同的幾何結(jié)構(gòu)圖案與四種顏色通道可以組成12個(gè)不同的特征基元。具體每個(gè)基元圖案的編碼如表1所示,系統(tǒng)定義圖像上任意點(diǎn)以其為中心的3×3鄰近的圖案構(gòu)成的子窗口作為該點(diǎn)的碼字,不同的子窗口碼字具有獨(dú)特性,而且與鄰域窗口的碼字差異很大。圖3為自適應(yīng)編碼的碼字定義方式,每個(gè)窗口的碼字編碼為子窗口中從左至右,從上至下的9個(gè)基元圖案組成的特征向量。一般來(lái)說(shuō),子窗口與鄰域之間的碼字的漢明距離差異越大,解碼恢復(fù)物體三維深度信息出錯(cuò)概率越小,抗噪性能越強(qiáng)。本文提出的自適應(yīng)編碼任意兩個(gè)子窗口之間碼字的平均漢明距離達(dá)到8.2551,均大于偽隨機(jī)編碼、M-陣列的空間編碼以及幾何圖形編碼等方案,相比于目前空間結(jié)構(gòu)編碼的方案,不容易受到圖像噪聲的干擾,穩(wěn)定性更高。

在編碼過(guò)程,當(dāng)系統(tǒng)檢測(cè)到某一幀圖像上的指尖點(diǎn)位置后,在以指尖點(diǎn)為中心附近的鄰域窗口進(jìn)行自適應(yīng)結(jié)構(gòu)光編碼,采用如下的公式:

圖4 觸摸檢測(cè)原理

更多資訊請(qǐng)關(guān)注人機(jī)界面頻道

標(biāo)簽:

點(diǎn)贊

分享到:

上一篇:船舶除銹爬壁機(jī)器人開(kāi)發(fā)及應(yīng)用

下一篇:一分鐘入門 | CAN總線應(yīng)用

中國(guó)傳動(dòng)網(wǎng)版權(quán)與免責(zé)聲明:凡本網(wǎng)注明[來(lái)源:中國(guó)傳動(dòng)網(wǎng)]的所有文字、圖片、音視和視頻文件,版權(quán)均為中國(guó)傳動(dòng)網(wǎng)(m.u63ivq3.com)獨(dú)家所有。如需轉(zhuǎn)載請(qǐng)與0755-82949061聯(lián)系。任何媒體、網(wǎng)站或個(gè)人轉(zhuǎn)載使用時(shí)須注明來(lái)源“中國(guó)傳動(dòng)網(wǎng)”,違反者本網(wǎng)將追究其法律責(zé)任。

本網(wǎng)轉(zhuǎn)載并注明其他來(lái)源的稿件,均來(lái)自互聯(lián)網(wǎng)或業(yè)內(nèi)投稿人士,版權(quán)屬于原版權(quán)人。轉(zhuǎn)載請(qǐng)保留稿件來(lái)源及作者,禁止擅自篡改,違者自負(fù)版權(quán)法律責(zé)任。

相關(guān)資訊

網(wǎng)站簡(jiǎn)介|會(huì)員服務(wù)|聯(lián)系方式|幫助信息|版權(quán)信息|網(wǎng)站地圖|友情鏈接|法律支持|意見(jiàn)反饋|sitemap

傳動(dòng)網(wǎng)-工業(yè)自動(dòng)化與智能制造的全媒體“互聯(lián)網(wǎng)+”創(chuàng)新服務(wù)平臺(tái)

網(wǎng)站客服服務(wù)咨詢采購(gòu)咨詢媒體合作

Chuandong.com Copyright ?2005 - 2024 ,All Rights Reserved 深圳市奧美大唐廣告有限公司 版權(quán)所有
粵ICP備 14004826號(hào) | 營(yíng)業(yè)執(zhí)照證書(shū) | 不良信息舉報(bào)中心 | 粵公網(wǎng)安備 44030402000946號(hào)