基于矩陣補全的無人車感知系統(tǒng)的攻擊防御技術

文:李慧云 邵翠萍 陳貝章 胡延步 楊趙南2021年第二期

環(huán)境感知系統(tǒng)是無人駕駛技術中至關重要的一環(huán),是整個無人車安全和穩(wěn)定的前提。目前無人駕駛領域內(nèi)對于環(huán)境感知技術的研究主要集中在理想環(huán)境下的環(huán)境信息獲取、語義信息高精度識別以及多傳感器的信息融合等,而未形成系統(tǒng)全面的攻擊檢測和防御體系。該研究利用感知系統(tǒng)中多傳感器感知信號在時域和空間域上的相關性,建立了多傳感器之間的信息交叉數(shù)學模型,可有效檢測到被攻擊的傳感器,并基于矩陣補全方法對失真數(shù)據(jù)進行恢復。實驗結果顯示,該方法能夠較好地檢測被攻擊傳感器,并恢復因攻擊而缺失的目標信息。

1 引 言

信息和通信技術的日新月異帶動了智能駕駛技術的發(fā)展,以提高交通安全和效率為目標,汽車智能化、網(wǎng)聯(lián)化已成為汽車產(chǎn)業(yè)發(fā)展的必然趨勢,不同國家和組織爭先推出相關政策和新技術。無人駕駛技術是當今社會和前沿科學技術發(fā)展的重要方向之一,對于社會的多個領域諸如城市建設、交通出行、經(jīng)濟發(fā)展和國防力量有著不可估量的重要意義。

無人駕駛汽車通過車載傳感系統(tǒng)感知汽車行駛過程中的道路環(huán)境狀況,同時對獲取的信息進行分析處理,自動規(guī)劃行車路線并對車輛進行導航,從而到達預定目的地。其中環(huán)境感知技術的功能如同人類的眼睛和耳朵一樣,主要由激光雷達、視覺攝像頭、毫米波雷達、全球定位系統(tǒng)(GPS)等設備組成。該技術主要用來獲取無人駕駛汽車周圍詳細的環(huán)境信息,并為規(guī)劃與決策模塊提供豐富的數(shù)據(jù),既包括障礙物的位置、形狀、類別及速度信息,也包括對一些特殊場景的語義理解(如施工區(qū)域、交通信號燈及交通路牌等)。無人駕駛汽車規(guī)劃與決策環(huán)節(jié)的安全性以環(huán)境感知技術的安全為前提,一旦無人車的感知系統(tǒng)受到攻擊,將會導致傳感器獲取的信息失真及錯誤的識別結果,進而規(guī)劃不正確的駕駛策略,極有可能引發(fā)車禍,造成嚴重的生命與財產(chǎn)損失。此類攻擊手段廉價、高效且隱蔽、不需要直接訪問正在使用的系統(tǒng),因此對無人車的安全性造成巨大的威脅。例如,2019 年騰訊科恩實驗室的研究人員以特斯拉 Model S 為對象,針對其搭載的“Autopilot”進行了安全性研究,找到了使用物理攻擊欺騙特斯拉自動駕駛系統(tǒng)的方法。該方法通過在道路特定位置貼上幾個貼紙,使得處在自動駕駛模式的汽車并入反向車道。因此,具有一定防御性的環(huán)境感知系統(tǒng)對整個無人駕駛汽車的安全性和穩(wěn)定性起到了先決的作用,研究無人車感知系統(tǒng)對抗主動攻擊的防御問題是保證其安全行駛的關鍵。

本文針對無人系統(tǒng)感知設備研究實時攻擊防御與高精度數(shù)據(jù)恢復方法。通過研究不同傳感器之間信息的交疊關系和語義相關性,建立信息交叉數(shù)學模型和虛假信息干擾數(shù)學模型。同時,根據(jù)信息交叉模型判斷致錯傳感器,并采用矩陣補全和矩陣分解等方法對失真信息進行高精度重構恢復。隨著無人車產(chǎn)業(yè)的發(fā)展,無人車攻擊等安全性研究將愈發(fā)重要,因而本研究在科學研究和工程應用上都極具現(xiàn)實意義。

2 無人車感知系統(tǒng)攻擊

圖 1 是整個車載感知系統(tǒng)的架構。該系統(tǒng)的 3 種傳感器(激光雷達、相機和毫米波雷達)數(shù)據(jù)需進行時間同步,將所有的時間誤差控制在毫秒級。結合傳感器數(shù)據(jù),感知系統(tǒng)以幀為基礎進行檢測、分割、分類等計算,最后利用多幀信息進行多目標跟蹤,將相關感知結果輸出。由于無人車行駛環(huán)境的復雜性,感知系統(tǒng)是多種傳感設備間的數(shù)據(jù)補充與冗余備份的功能模塊。如果沒有數(shù)據(jù)恢復的防御機制,任何一個傳感設備遭受外部攻擊都將對無人車安全行駛造成巨大的威脅。

圖 1 無人車車載感知系統(tǒng)的架構.jpg

2.1 攝相機攻擊

攝像機作為無人車中必備的一種器件,具有目標檢測功能,如行人、車輛、紅綠燈,車道線、交通標識檢測等。但在應對道路結構復雜、人車混雜的交通環(huán)境時,相機感知技術還存在很多不足,如存在目標檢測困難、易受近距離攻擊等問題。而對視覺傳感器的近距離攻擊主要是通過添加有害信息使視覺檢測系統(tǒng)出錯,進而導致錯誤的駕駛策略。

添加有害信息的方法一般是通過透鏡印刷的方式。透鏡圖像的特點是從不同角度觀察同一個交通標志時,得到的結果不同,具體攻擊原理如圖 2 所示。此外,當標志牌上印刷兩種不同的交通標志時,攝像機的角度和人眼角度觀察到的標志信息不同,如圖 3 所示。

圖 2 透鏡圖像的生成過程及其成像特點.jpg

圖 3 攻擊示例.jpg

2.2 激光雷達攻擊

針對激光雷達的攻擊主要分為對傳感器底層感知原理的攻擊與感知算法層的攻擊。其中底層原理攻擊主要包括3種方式 :激光距離欺騙攻擊、激光角度欺騙攻擊和激光致盲攻擊。

(1).jpg

通過發(fā)射和接收激光束,分析激光遇到目標對象后的折返時間,計算出到目標對象的相對距離。然后利用此過程中收集到的目標對象表面大量密集點的三維坐標、反射率和紋理等信息,快速得到被測目標的三維模型以及線、面、體等各種相關數(shù)據(jù)。進一步建立三維點云圖,繪制出環(huán)境地圖,以達到環(huán)境感知的目的。激光跟蹤測量雷達系統(tǒng)組成中同時包含測距和測角兩個探測分系統(tǒng),對任何一個探測系統(tǒng)的有效干擾都會影響激光跟蹤測量雷達的總體性能,即可以通過對其中任何一個探測分系統(tǒng)的干擾實現(xiàn)對激光雷達的干擾。

近年來國內(nèi)外對激光雷達攻擊的研究有轉向感知算法層攻擊的趨勢。Cao 等研究認為一些特殊三維結構的物體也會令激光雷達受到對抗攻擊,由此錯誤地把某些物體當做行人,或者對特殊形狀的障礙物視而不見。隨后,該團隊提出了一種 LiDAR-Adv 方法,可生成逃避激光雷達檢測的對抗物體。其中,針對激光雷達所制作的對抗樣本如圖 4 所示。將對抗樣本放在路徑中央(如圖 5),配置激光雷達的汽車直到逼近對抗樣本時才檢測出該目標,以至于躲閃不及。該研究揭示了基于自動駕駛的激光雷達感知系統(tǒng)存在潛在的漏洞。

圖 4 LiDAR-Adv 生成的激光雷達對抗樣本.jpg

圖 5 激光雷達對抗樣本 ( 障礙物 ) 的檢測失效.jpg

3 感知系統(tǒng)防御方法

目前對無人車感知系統(tǒng)攻擊的防御方法主要是針對單一傳感器采取的一些改善和防御,其可以從一定程度上減小攻擊帶來的影響,但尚未形成系統(tǒng)全面的攻擊檢測和防御體系。本文采用矩陣補全和矩陣分解等方法對攻擊致錯的數(shù)據(jù)進行高精度恢復,形成一套完整的以檢測手段與數(shù)據(jù)恢復算法為核心的攻擊防御方案。

3.1 建立多傳感器信息交叉數(shù)學模型及攻擊檢測

雖然無人車在行駛中的環(huán)境信息是實時變化的,但是不同的傳感器對環(huán)境的感知一直存在著空間信息的冗余和交叉,這種相互的交叉和重疊導致傳感器兩兩之間存在相關性。如果能夠在空間域上建立傳感器之間恒定不變的相關性,那么就能夠以此判斷某個時刻是否有傳感器發(fā)生異?;虮还簟?/p>

除了空間域上的相關性,每個傳感器自身感知的信息在不同的時刻也存在著相關性。本文將傳感器自身在不同時間的相關性稱為自相關性,而將不同的傳感器在空間域上的相關性稱為互相關性。利用時間域的自相關性檢測被攻擊導致的錯誤,再結合空間域上的互相關性定位被攻擊的傳感器,這是本文利用感知信號之間的相關性做定位和檢測的核心思想。圖 6 描述了多傳感器信息交叉模型的建立。

圖 6 多傳感器之間的信息相關性.jpg

在分析多傳感數(shù)據(jù)相關性之前,需先將多傳感器(包括攝像頭、激光雷達、紅外傳感器、超聲波傳感器、GPS 傳感器等)在空間或時間上的冗余或互補信息進行提取,以獲得被測對象的一致性解釋或描述。具體地,多傳感器數(shù)據(jù)提取的方法如下:

(1)收集 N 個不同類型的傳感器(有源或無源的)對目標的觀測數(shù)據(jù)。

(2)(3).jpg

(2、3).jpg

通過分析傳感器之間的互相關性和自相關性,建立相關性表示的數(shù)學模型,研究攻擊致錯的特征在相關性模型中的傳遞規(guī)律,得到錯誤傳遞的函數(shù),可以為進一步定位攻擊來源和偏差計算提供理論依據(jù)。接著,根據(jù)傳感器之間信息交叉的特點和不同傳感器特征矢量的數(shù)據(jù)形態(tài)選擇合適的數(shù)據(jù)相關性表示形式。同時,建立既能夠橫向體現(xiàn)隨著環(huán)境恒定不變的感知數(shù)據(jù)交叉特性,又能夠縱向區(qū)分特征矢量中不同物理量在相關性表達中的貢獻,且保證錯誤不在相關性模型中湮沒的方法。

3.2 基于矩陣補全的數(shù)據(jù)恢復方法

接下來重點考慮如何根據(jù)錯誤傳遞機理去定位被攻擊或出現(xiàn)異常的傳感器,及如何最大化地修復錯誤的特征數(shù)據(jù),減少錯誤對感知結果的影響。矩陣補全(Matrix Completion,MC)是一種補全缺失信息的方法。在矩陣的元素存在未知或缺失的情況下,矩陣補全可根據(jù)已知元素估計出未知元素,從而將矩陣恢復完整。矩陣補全起源于機器學習,即已知部分樣本(這些樣本來自擁有低秩協(xié)方差矩陣的過程),需要估計那些缺失或未知的數(shù)據(jù)。目前矩陣補全已廣泛應用于機器學習、工程控制、圖像和視頻處理。本文采用基于矩陣補全的方法對由于無人車被攻擊而失真的感知信息進行重建,最終對感知信息進行高精度的恢復。首先,假設矩陣 X 為無人車待恢復的感知信號;M 為感知信號被攻擊后的原始信號;且 M 中部分元素因被攻擊而失真。然后,通過矩陣補全的方法找到矩陣 X,使得 X 中的元素盡量逼近 M 中沒有被攻擊的部分,而 X 中其他元素作為失真信息的逼近估計。圖 7 為采用矩陣補全方法對失真信號進行重建的原理圖。標準矩陣補全問題可建模為如下形式的秩最小化約束優(yōu)化模型:

圖 7 采用矩陣補全對失真信號的數(shù)據(jù)容錯恢復原理框圖.jpg

最小化約束優(yōu)化模型.jpg

最小化約束優(yōu)化模型2.jpg

對標準矩陣補全問題中 X 的求解大致可分為4 類:基于核范數(shù)松弛的矩陣補全模型、基于矩陣分解的矩陣補全模型、基于非凸函數(shù)松弛的矩陣補全模型及其他類型的矩陣補全模型。這些矩陣補全模型關注的都是如何基于目標矩陣的先驗低秩性從少量采樣觀察中補全缺失元素。它們的主要區(qū)別在于秩函數(shù)的松弛方式不同,從而導致模型的凸性各異,模型求解效率和可擴放性也因此不同。在實際使用中,需結合矩陣的規(guī)模,以及對數(shù)據(jù)精度的要求選擇合適的松弛補全模型。

4 實驗設計與結果

4.1 實驗建立

實驗在開源的自動駕駛仿真軟件 Carla Simulator 上進行。Carla Simulator 是 Intel Visual Computing Lab 推出的一款開源模擬器,主要用于城市自動駕駛研究。Carla 支持城市自動駕駛系統(tǒng)底層開發(fā)、訓練和驗證。Carla 通過 ServerClient 方式使車輛與虛擬世界進行交互。Client API 采用 Python 編寫,Client 向 Server 發(fā)送command 和 meta-command。其中,command 為控制車輛的轉向、加速和剎車;meta-command 針對的是 Server 的行為,主要有重啟模擬器、改變環(huán)境特征和修改傳感器組等。Carla 可以加入不同天氣和光照等環(huán)境特征以及車輛和行人的密度等影響,并且可以根據(jù)需求配置傳感器(包括彩色相機、深度相機、激光雷達、IMU、GPS 等),從而實時獲取動態(tài)仿真數(shù)據(jù),以供用于自動駕駛仿真測試。視覺相機采用 RGB 彩色相機和深度相機,其圖像參數(shù)均為 800×600;鏡頭水平視場角均為 100°;激光雷達為 32 線激光雷達;俯仰角范圍為-26.8°~2°;旋轉頻率為1200 r/min。實驗中模擬強光對激光雷達進行攻擊,使得點云數(shù)據(jù)缺失。硬件平臺主要為聯(lián)想移動工作站 TinkPad P51,其配置如表 1,具體過程分為 4 個步驟。

表 1 硬件平臺配置.jpg

(1)傳感數(shù)據(jù)采樣與特征提取

視覺感知包含目標檢測和定位。在自動駕駛感知系統(tǒng)中,只有 GPS 是屬于絕對定位的,其他定位方式都需要在結構化的環(huán)境下提取相應的環(huán)境特征。一旦受到外界的主動攻擊,使得特征矢量丟失,很容易出現(xiàn)系統(tǒng)定位或檢測失效的問題。例如,如果自動駕駛車輛的視覺定位系統(tǒng)被強光攻擊,且沒有激光雷達恢復定位的特征,那么將會對自動駕駛的行車帶來重大的安全隱患。因此,通過多傳感融合來對抗外在攻擊的定位方案對于自動駕駛的安全性是必不可少的。

圖 8 激光點云定位框架.jpg

圖 8 為激光點云定位框架。首先,通過事先采集的點云信息和激光點云構建激光雷達地圖(反射值地圖和高度值地圖),并根據(jù)激光反射強度與激光高度等物理世界特征量構建地圖。然后,通過車輛上的傳感器實時匹配自身獲取的數(shù)據(jù)和之前構造的特征地圖,從而解算出載體的相對位姿。而點云匹配定位的過程是一個優(yōu)化問題,只要定義好損失函數(shù),那么求解最小化損失函數(shù)就是載體定位的過程。此外,圖像對齊是用優(yōu)化的方法求解航向角 yaw,并采用 SSD-HF (SSD-Sum of Squared Difference Histogram Filter)的優(yōu)化方法解算 x 和 y。(x, y)表示載體在激光雷達地圖上的平面坐標點,高度信息 z 直接從點云數(shù)據(jù)中獲取。最后,激光定位算法輸出位姿信息X(x, y, z, yaw)。當搭載了激光雷達的載體在一次掃描中觀測

(7、8).jpg

(7、8)后1.jpg

(7、8)后2.jpg

(7、8)后3.jpg

受攻擊傳感器。

圖 9 攻擊定位.jpg

(4)失真數(shù)據(jù)恢復

當檢測到某個傳感器被攻擊時,聯(lián)立各個傳感器的特征信息,建立原始感知信號矩陣M。其中,M中未被攻擊的傳感器感知的特征信息元素集合稱為指標集,而在M中被攻擊的信息稱為缺失元素。根據(jù)原始感知信號矩陣M,建立矩陣補全數(shù)學模型,重構感知信號矩陣 X?;诤朔稊?shù)松弛的建模方法涉及復雜的矩陣奇異值分解,所以會導致模型的求解效率和可擴放性(Scalability,也稱為可擴展性)受限。而基于矩陣分解的建模方法是一類可替代的矩陣補全模型構建方法,其基本思路是將目標矩陣分解為 2 個低秩矩陣L和Q的乘積,從而避免了復雜的矩陣奇異值分解,加速了算法的執(zhí)行效率。采用矩陣分解的矩陣補全建模如公式(9):

(9).jpg

4.2 實驗結果

傳統(tǒng)點云的補全方法大多依托點云集本身對點云集細節(jié)進行補償,或通過對抗生成網(wǎng)絡對 3D 點云模型的部分缺失補償[24],不適用于本實驗的戶外場景。由于針對性攻擊造成的包覆目標外側所有點云缺失的特殊場景,因此本文對比實驗采用的是點云查找補全法。圖 10結果顯示,本文提出的方法能夠較好地恢復被攻擊缺失的感知目標信息。其中,圖 10(a)表示正常情況下,激光雷達檢測到一輛車;圖 10(b)表示該車輛遭到攻擊后,點云信息完全缺失;圖 10(c)表示基于傳統(tǒng)補全法恢復的激光點云可視效果圖;圖 10(d)表示本文方法恢復的激光點云可視效果圖。

數(shù)據(jù)恢復的精度通過恢復的點云數(shù)據(jù)在兩個維度上的平均相對誤差來評估,可以表示為公式(11)~(13)(n 為實驗測試次數(shù)):

(11).jpg

(12、13).jpg

表 2 所示為兩種恢復方法的實驗結果。從表 2 可知,與點云補全方法相比,本文方法所恢復的目標點云信息精度更高、耗時更少。結合圖 10 的數(shù)據(jù)可視圖可知,由于雷達激光是呈射線水平均勻散射狀發(fā)出,故會被目標車輛吸收或遮擋等。因此,造成了依據(jù)規(guī)則點云恢復的點云空間大于實際缺失的點云空間,測量位置偏移。而本文采用的方法通過與視覺感知數(shù)據(jù)的相關性準確定位缺失的點云,有效地約束了失真范圍。

表 2 兩種恢復方法的實驗結果.jpg

圖 10 激光雷達點云數(shù)據(jù)攻擊與恢復.jpg

5 討論與分析

目前國內(nèi)外對于無人車近距離攻擊的安全研究尚處于比較早期的階段,對無人車近距離攻擊的防御方法主要集中在單一傳感器上,尚未形成系統(tǒng)的攻擊檢測和防御體系。目前,對于視覺攻擊的防御主要有 2 種方法。一種是針對相機感知原理底層的防御方法,有研究通過增加冗余的方式部署激光雷達,針對光學反射偽裝背景紋路、亮度相似的障礙物進行防御,但該方法需要探討兩種不同感知設備對同一攻擊源產(chǎn)生不同置信度的邏輯判斷。而人為地設計冗余傳感器置信度判定的方法不適用于多變復雜的道路攻擊場景,故此方法屬于僅探測,這意味著該類方法在對抗樣本上僅能報警,卻不能將對抗樣本完全識別。另一種是針對感知算法層面的防御方法,通過不斷輸入新類型的對抗樣本并執(zhí)行對抗訓練,從而不斷提升網(wǎng)絡的魯棒性。這種基于深度學習的訓練方法雖然從一定程度上減少對抗樣本對傳感器識別的影響,但總是會存在新的對抗樣本,同樣不適用于復雜多變的道路攻擊場景。本研究通過冗余傳感之間的相關性,恢復攻擊目標的檢測,為傳統(tǒng)基于規(guī)則式的感知算法提供了新的研究思路。

此外,針對激光雷達攻擊的防御主要有針對激光感知原理底層的防御方法和針對激光感知算法層面的防御方法。前者的策略包括:(1)通過在光學和光電裝置中安裝快光電開關、濾光片,防止激光致盲;(2)研究抗激光結構,例如夾層結構,防止敵激光能量對己方裝備的破壞;(3)通過對技術參數(shù)嚴格保密,如對己方激光信號采取編碼技術,加大敵方干擾難度;(4)研制和發(fā)展特種耐高溫材料的殼體,使其難以被激光武器燒毀和穿透。但是,這些方法只能在一定程度上降低被攻擊的風險,沒有對被攻擊后的數(shù)據(jù)進行恢復的措施。

針對 LiDAR-Adv生成的激光雷達對抗樣本,使用本文算法分析相機與激光的相關性,恢復檢測出對抗樣本,能夠解決自動駕駛激光雷達感知系統(tǒng)的潛在問題。本文利用傳感器之間的信息相關性,建立無人車車載傳感器信息交叉數(shù)學模型與虛假信息干擾數(shù)學模型,對被攻擊傳感器進行實時檢測。同時,采用矩陣補全方法對攻擊致錯的數(shù)據(jù)進行高精度恢復,形成一套完整的以檢測手段與數(shù)據(jù)恢復算法為核心的攻擊防御方案。

6 結論

本文采用基于矩陣補全的方法對由于無人車被攻擊而失真的感知信息進行重建,最終對感知信息進行高精度的恢復。通過矩陣補全的方法找到恢復的感知信號矩陣,盡量逼近原始信號中沒有被攻擊的部分。實驗結果顯示,本文方法能夠較好地恢復被攻擊缺失的感知目標信息。由于真實的無人車測試場景需要路測的條件,且需在無人車感知系統(tǒng)基本完善的情況下進行。因此,未來將在實際場景中對不同傳感器進行攻擊和防御的實驗驗證,迭代完善攻擊檢測和數(shù)據(jù)恢復方法。此外,下一步將優(yōu)化傳感器特征提取和數(shù)據(jù)融合方式,提高算法執(zhí)行的效率和精度,使防御技術更為精準高效。

文章轉載自《集成技術》

中傳動網(wǎng)版權與免責聲明:

凡本網(wǎng)注明[來源:中國傳動網(wǎng)]的所有文字、圖片、音視和視頻文件,版權均為中國傳動網(wǎng)(m.u63ivq3.com)獨家所有。如需轉載請與0755-82949061聯(lián)系。任何媒體、網(wǎng)站或個人轉載使用時須注明來源“中國傳動網(wǎng)”,違反者本網(wǎng)將追究其法律責任。

本網(wǎng)轉載并注明其他來源的稿件,均來自互聯(lián)網(wǎng)或業(yè)內(nèi)投稿人士,版權屬于原版權人。轉載請保留稿件來源及作者,禁止擅自篡改,違者自負版權法律責任。

如涉及作品內(nèi)容、版權等問題,請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關權利。

伺服與運動控制

關注伺服與運動控制公眾號獲取更多資訊

直驅(qū)與傳動

關注直驅(qū)與傳動公眾號獲取更多資訊

中國傳動網(wǎng)

關注中國傳動網(wǎng)公眾號獲取更多資訊

熱搜詞
  • 運動控制
  • 伺服系統(tǒng)
  • 機器視覺
  • 機械傳動
  • 編碼器
  • 直驅(qū)系統(tǒng)
  • 工業(yè)電源
  • 電力電子
  • 工業(yè)互聯(lián)
  • 高壓變頻器
  • 中低壓變頻器
  • 傳感器
  • 人機界面
  • PLC
  • 電氣聯(lián)接
  • 工業(yè)機器人
  • 低壓電器
  • 機柜
回頂部
點贊 0
取消 0
往期雜志
  • 2024年第1期

    2024年第1期

    伺服與運動控制

    2024年第1期

  • 2023年第4期

    2023年第4期

    伺服與運動控制

    2023年第4期

  • 2023年第3期

    2023年第3期

    伺服與運動控制

    2023年第3期

  • 2023年第2期

    2023年第2期

    伺服與運動控制

    2023年第2期

  • 2023年第1期

    2023年第1期

    伺服與運動控制

    2023年第1期