1引言

基于機(jī)器視覺(jué)的輔助駕駛系統(tǒng)旨在提高駕駛員的環(huán)境感知能力，通過(guò)輔助系統(tǒng)監(jiān)測(cè)外界環(huán)境，并在非安全情況及時(shí)向駕駛員發(fā)出預(yù)警，從而使人—車(chē)—路系統(tǒng)更加穩(wěn)定、安全、可靠，提高汽車(chē)的安全性能。

開(kāi)發(fā)基于機(jī)器視覺(jué)的輔助駕駛系統(tǒng)時(shí)，需要面對(duì)以下難點(diǎn)：

（1）系統(tǒng)算法復(fù)雜，代碼繁多。機(jī)器視覺(jué)主要是借助攝像頭采集外界信息并將其轉(zhuǎn)換為數(shù)字圖像信號(hào)進(jìn)行處理，面對(duì)不同的外界環(huán)境和檢測(cè)目的，致使系統(tǒng)需要處理的針對(duì)點(diǎn)不一樣，因此，使得整個(gè)系統(tǒng)在算法方面異常復(fù)雜，開(kāi)發(fā)過(guò)程緩慢。

（2）測(cè)試環(huán)境要求苛刻。在系統(tǒng)開(kāi)發(fā)后期，測(cè)試其性能并進(jìn)行整改是整個(gè)研發(fā)過(guò)程中的關(guān)鍵步驟之一。相比較于其他汽車(chē)電子產(chǎn)品，基于機(jī)器視覺(jué)的輔助駕駛技術(shù)產(chǎn)品在測(cè)試時(shí)需要考慮兩點(diǎn)因素：第一，實(shí)車(chē)試驗(yàn)時(shí)，駕駛員的安全是否能夠得到保障；第二，測(cè)試過(guò)程需要有效、可信、可從復(fù)，便于及時(shí)發(fā)現(xiàn)問(wèn)題并進(jìn)行整改。

在開(kāi)發(fā)基于機(jī)器視覺(jué)輔助駕駛系統(tǒng)過(guò)程中，如果能把上述難題順利解決，將為以后基于機(jī)器視覺(jué)的輔助駕駛技術(shù)產(chǎn)品研發(fā)做好鋪墊，提高輔助駕駛技術(shù)產(chǎn)品的開(kāi)發(fā)效率，促進(jìn)輔助駕駛技術(shù)產(chǎn)品早日投入量產(chǎn)，最終提高汽車(chē)的安全性能。

2設(shè)計(jì)背景和設(shè)計(jì)原則

針對(duì)以上在機(jī)器視覺(jué)輔助駕駛系統(tǒng)研發(fā)及測(cè)試過(guò)程中存在的問(wèn)題，考慮到NI公司的EVS和PXI平臺(tái)出色的圖像處理能力及強(qiáng)大的實(shí)時(shí)仿真測(cè)試功能，采用LabVIEW編程語(yǔ)言，通過(guò)VeriStand開(kāi)發(fā)平臺(tái)集成仿真測(cè)試模型，設(shè)計(jì)了一套基于NIEVS和PXI的機(jī)器視覺(jué)輔助駕駛開(kāi)發(fā)系統(tǒng)。

借助NIEVS平臺(tái)可以快速實(shí)現(xiàn)基于機(jī)器視覺(jué)的輔助駕駛功能，這主要是依托NIEVS平臺(tái)的如下特點(diǎn)：

（1）高性能的多核處理器，2GBRAM適合快速檢測(cè)和大型圖像處理；

（2）連接多架相機(jī)以實(shí)現(xiàn)同步檢測(cè)（千兆以太網(wǎng)視覺(jué)和IEEE1394標(biāo)準(zhǔn)），可用于多種駕駛輔助功能的開(kāi)發(fā)；

（3）高速I(mǎi)/O通道適合和工業(yè)通信，具有強(qiáng)大的擴(kuò)展能力；

（4）借助視覺(jué)生成器配置實(shí)現(xiàn)自動(dòng)檢測(cè)，無(wú)需進(jìn)行底層驅(qū)動(dòng)和接口電路的設(shè)計(jì)開(kāi)發(fā)；

（5）視覺(jué)開(kāi)發(fā)模塊VisionDevelopmentModule（VDM）集成了大量常見(jiàn)的機(jī)器視覺(jué)處理基礎(chǔ)模塊，開(kāi)發(fā)人員將集中于集成和應(yīng)用，快速實(shí)現(xiàn)各類的檢測(cè)和識(shí)別功能；

（6）采用圖形化編程方式，更加便于開(kāi)發(fā)人員進(jìn)行復(fù)雜算法的開(kāi)發(fā)和調(diào)試。

當(dāng)設(shè)計(jì)人員有新的創(chuàng)意時(shí)，運(yùn)用該系統(tǒng)可以快速將創(chuàng)意實(shí)現(xiàn)，提高了系統(tǒng)開(kāi)發(fā)的效率。其中，視覺(jué)開(kāi)發(fā)模塊（VDM）可以讓設(shè)計(jì)人員更多的關(guān)注不同算法實(shí)現(xiàn)的效果，減少在編程方面的精力投入，通過(guò)綜合比較，進(jìn)一步提高系統(tǒng)的性能。

借助NIPXI平臺(tái)可以在有效、可信、可從復(fù)的環(huán)境下對(duì)系統(tǒng)進(jìn)行測(cè)試，以便及早發(fā)現(xiàn)問(wèn)題并整改。NIPXI平臺(tái)在以下幾個(gè)方面具有獨(dú)特的優(yōu)勢(shì)：

（1）提供圖形化軟件開(kāi)發(fā)環(huán)境和良好的人機(jī)交互元素，重點(diǎn)關(guān)注應(yīng)用程序開(kāi)發(fā)，無(wú)需關(guān)注底層驅(qū)動(dòng)，人機(jī)界面易開(kāi)發(fā)；

（2）良好的實(shí)時(shí)性，保證數(shù)據(jù)采集和測(cè)試的時(shí)序要求和實(shí)時(shí)性，能夠運(yùn)行復(fù)雜的車(chē)輛模型；

（3）系統(tǒng)可靠性、集成度高，可擴(kuò)展性好；

（4）具有很好開(kāi)放性和擴(kuò)展性，能夠集成其他軟件平臺(tái)開(kāi)發(fā)的各種模型。

綜合NIEVS和PXI的優(yōu)點(diǎn)，采用LabVIEW編程語(yǔ)言，通過(guò)VeriStand開(kāi)發(fā)平臺(tái)集成仿真測(cè)試模型，開(kāi)發(fā)了一套基于NIEVS和PXI的機(jī)器視覺(jué)輔助駕駛系統(tǒng)。

3系統(tǒng)技術(shù)原理和設(shè)計(jì)架構(gòu)

針對(duì)機(jī)器視覺(jué)輔助駕駛系統(tǒng)開(kāi)發(fā)所面臨的難題及相應(yīng)的解決方案可知，設(shè)計(jì)的系統(tǒng)應(yīng)具有以下兩個(gè)功能：

（1）機(jī)器視覺(jué)系統(tǒng)的快速開(kāi)發(fā)與實(shí)現(xiàn)。借助NIEVS平臺(tái)，將預(yù)先設(shè)定的需求功能通過(guò)編程實(shí)現(xiàn)，并保證整個(gè)硬件系統(tǒng)滿足功能需要。

（2）基于機(jī)器視覺(jué)的駕駛輔助功能的可信、有效和可重復(fù)的測(cè)試。借助NIPXI平臺(tái)，搭建一套虛擬測(cè)試系統(tǒng)，從而測(cè)試機(jī)器視覺(jué)開(kāi)發(fā)部分出現(xiàn)的問(wèn)題，以便及時(shí)整改，提高系統(tǒng)安全性能。

根據(jù)上述思想，系統(tǒng)設(shè)計(jì)原理架構(gòu)如圖1所示。

圖1系統(tǒng)設(shè)計(jì)原理架構(gòu)圖

如圖1所示，整個(gè)平臺(tái)分為虛擬測(cè)試系統(tǒng)和機(jī)器視覺(jué)系統(tǒng)兩部分，兩部分由各自的硬件及軟件構(gòu)成。

在虛擬測(cè)試系統(tǒng)中，PC機(jī)1通過(guò)TCP/IP協(xié)議與仿真測(cè)試平臺(tái)連接，對(duì)仿真模型進(jìn)行參數(shù)配置。仿真測(cè)試平臺(tái)的主要功能是運(yùn)行車(chē)輛動(dòng)力學(xué)模型并采集虛擬駕駛艙輸出參數(shù)，仿真測(cè)試結(jié)果通過(guò)CAN通信的方式傳輸?shù)絇C機(jī)2，PC機(jī)2中運(yùn)行的虛擬現(xiàn)實(shí)軟件將輸仿真測(cè)試平臺(tái)的輸出參數(shù)轉(zhuǎn)化為車(chē)輛運(yùn)行效果并在虛擬駕駛艙中顯示出來(lái)。

機(jī)器視覺(jué)系統(tǒng)中，攝像頭采集虛擬駕駛艙中的虛擬駕駛場(chǎng)景，通過(guò)TCP/IP協(xié)議與視覺(jué)處理平臺(tái)連接，在視覺(jué)處理平臺(tái)編程實(shí)現(xiàn)機(jī)器視覺(jué)功能。

3.1機(jī)器視覺(jué)系統(tǒng)

機(jī)器視覺(jué)系統(tǒng)部分的主要作用是，設(shè)計(jì)者根據(jù)事先要設(shè)定的需求，通過(guò)視覺(jué)處理系統(tǒng)，編程實(shí)現(xiàn)各類識(shí)別和檢測(cè)功能。

機(jī)器視覺(jué)系統(tǒng)的核心是NIEVS嵌入式視覺(jué)開(kāi)發(fā)平臺(tái)，借助NIEVS平臺(tái)的重要原因之一就是考慮到LabVIEW編程語(yǔ)言的簡(jiǎn)潔直觀性及視覺(jué)開(kāi)發(fā)模塊VisionDevelopmentModule（VDM）出色的圖像處理能力。視覺(jué)開(kāi)發(fā)模塊專用于開(kāi)發(fā)和配置機(jī)器視覺(jué)應(yīng)用程序。它包含了數(shù)百種函數(shù)，可采集來(lái)自多種攝像頭的圖像，還可進(jìn)行各種圖像處理，包括圖像增強(qiáng)、檢查顯像、定位特性、識(shí)別對(duì)象和測(cè)量部件等。借助EVS硬件平臺(tái)及軟件編程環(huán)境可以快速實(shí)現(xiàn)設(shè)定功能，大大縮短了開(kāi)發(fā)時(shí)間。

機(jī)器視覺(jué)系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2機(jī)器視覺(jué)系

虛擬現(xiàn)實(shí)軟件模擬出來(lái)的路況信息通過(guò)液晶顯示器顯示出來(lái)，由piA1000-60gc攝像頭采集并傳入NIEVS-1464（Windows）嵌入式視覺(jué)系統(tǒng)處理，根據(jù)預(yù)先設(shè)定的算法程序，完成機(jī)器視覺(jué)的功能。

3.2虛擬測(cè)試系統(tǒng)

虛擬測(cè)試系統(tǒng)的主要作用是，提供一套有效、可信、可從復(fù)的虛擬環(huán)境，保證測(cè)試過(guò)程的實(shí)時(shí)性，便于及時(shí)發(fā)現(xiàn)問(wèn)題并整改。

NIPXI平臺(tái)可以用來(lái)加快測(cè)試執(zhí)行時(shí)間、提高軟件開(kāi)發(fā)效率、提高處理能力并增強(qiáng)可擴(kuò)展性，從而極大地縮減機(jī)器視覺(jué)系統(tǒng)的開(kāi)發(fā)投入。

根據(jù)以上原則，綜合考慮NIPXI平臺(tái)的特點(diǎn)，搭建了虛擬測(cè)試系統(tǒng)。

虛擬測(cè)試系統(tǒng)結(jié)構(gòu)如圖3所示。

圖3虛擬測(cè)試系統(tǒng)結(jié)構(gòu)圖

NIPXI-8513主要采集方向盤(pán)轉(zhuǎn)角信息，它作為單端口軟件可選的控制器局域網(wǎng)絡(luò)(CAN)PXI接口，適合在Windows與LabVIEW實(shí)時(shí)(Real-TIme)操作系統(tǒng)上的NILabVIEW、NILabWindows/CVI和C/C++中開(kāi)發(fā)CAN應(yīng)用程序。

NIPXI-7841R數(shù)字RIO板卡采集油門(mén)踏板信息，它提供的可編程FPGA芯片，適合板載處理和靈活的I/O操作。用戶可借助NILabVIEW圖形化程序框圖和NILabVIEWFPGA模塊，配置各項(xiàng)模擬和數(shù)字功能。該程序框圖在硬件中運(yùn)行，有助于直接及時(shí)地控制全部I/O信號(hào)，實(shí)現(xiàn)各項(xiàng)優(yōu)越性能。

NIPXIe-8135運(yùn)行車(chē)輛動(dòng)力學(xué)模型，它是基于IntelCorei7-3610QE處理器的高性能嵌入式控制器，可用于PXI系統(tǒng)。結(jié)合2.3GHz基頻、3.3GHz（單核TurboBoost模式）四核處理器和雙通道1600MHzDDR3內(nèi)存，該控制器非常適合用于處理器密集型模塊化儀器和數(shù)據(jù)采集應(yīng)用。

車(chē)輛動(dòng)力學(xué)模型接收到方向盤(pán)轉(zhuǎn)角、油門(mén)踏板等信息，然后車(chē)輛模型進(jìn)行相應(yīng)的運(yùn)動(dòng)，為了更加直觀的顯示運(yùn)動(dòng)效果，車(chē)輛動(dòng)力學(xué)模型的輸出連接到虛擬現(xiàn)實(shí)軟件CarMaker，結(jié)合CarMaker提供的不同交通場(chǎng)景，進(jìn)一步提高測(cè)試過(guò)程的真實(shí)有效性。

4軟件實(shí)現(xiàn)

考慮的整個(gè)系統(tǒng)所具備功能主要分為兩塊，因此軟件實(shí)現(xiàn)也分為兩部分，即：機(jī)器視覺(jué)軟件實(shí)現(xiàn)和虛擬測(cè)試軟件實(shí)現(xiàn)。

4.1機(jī)器視覺(jué)軟件實(shí)現(xiàn)

基于機(jī)器視覺(jué)的輔助駕駛系統(tǒng)可以實(shí)現(xiàn)很多功能，例如車(chē)道線檢測(cè)、行人檢測(cè)、交通信號(hào)及標(biāo)志牌識(shí)別、汽車(chē)夜視系統(tǒng)等。借助本開(kāi)發(fā)平臺(tái)，可以將新的創(chuàng)意在該平臺(tái)通過(guò)編程快速實(shí)現(xiàn)，并進(jìn)行試驗(yàn)驗(yàn)證。

下面以車(chē)道線檢測(cè)的實(shí)現(xiàn)過(guò)程為例介紹基于NIEVS平臺(tái)的軟件實(shí)現(xiàn)。

車(chē)道線檢測(cè)的主要功能是，借助機(jī)器視覺(jué)平臺(tái)，提供車(chē)輛在結(jié)構(gòu)化道路行駛過(guò)程中偏離車(chē)道中心線的距離及航向角等信息，當(dāng)車(chē)輛中加入車(chē)道偏離預(yù)警功能后，可以在車(chē)輛將要偏離車(chē)道邊界時(shí)，向駕駛員發(fā)出預(yù)警，從而保證車(chē)輛的安全行駛。

車(chē)輛擋風(fēng)玻璃上裝設(shè)的攝像頭采集前方路況信息，經(jīng)由EVS嵌入式視覺(jué)系統(tǒng)處理。為了保證系統(tǒng)的實(shí)時(shí)性、可靠性，原始視頻信息一般要經(jīng)過(guò)圖像裁剪、灰度化、邊緣檢測(cè)、二值化、直線檢測(cè)等處理，當(dāng)連續(xù)10幀圖像的車(chē)道線位置偏差不大時(shí)，可以認(rèn)定車(chē)輛行駛軌跡較為穩(wěn)定，因此可以縮小車(chē)道線搜索檢測(cè)區(qū)域，進(jìn)一步提高系統(tǒng)的實(shí)時(shí)性能。車(chē)道線檢測(cè)算法流程如圖4所示。

圖4車(chē)道線檢測(cè)算法流程

視頻裁剪主要是除去天空等與車(chē)道線檢測(cè)無(wú)關(guān)的圖像信息，減少需要處理的圖像數(shù)據(jù)，減少無(wú)關(guān)干擾，提高系統(tǒng)的實(shí)時(shí)性與準(zhǔn)確性。使用的控件為IMAQExtractVI。

灰度化的功能是，在不影響車(chē)道線檢測(cè)的前提下，將原始的彩色圖像轉(zhuǎn)化為灰度圖像，進(jìn)一步減小需要處理的數(shù)據(jù)量。使用的控件是IMAQExtractSingleColorPlaneVI。

邊緣檢測(cè)的目的是突出車(chē)道線邊緣，因?yàn)檐?chē)道線檢測(cè)主要是依據(jù)車(chē)道邊緣的信息。使用的控件是IMAQEdgeDetecTIonVI，選擇的邊緣檢測(cè)算法為Sobel算法。

二值化的作用是在邊緣檢測(cè)的基礎(chǔ)上進(jìn)一步簡(jiǎn)化圖像信息，通過(guò)設(shè)定閾值，使高于閾值的像素點(diǎn)灰度值為1，低于閾值的像素點(diǎn)灰度值為0。使用的控件是IMAQAutoBThreshold2VI，選擇的二值化算法是inter-classvariance算法。

直線檢測(cè)就是在設(shè)定的區(qū)域內(nèi)設(shè)定參數(shù)檢測(cè)車(chē)道線。這里使用的控件是IMAQFindEdgeVI，算法選擇Hough變換。

當(dāng)連續(xù)10幀圖像的車(chē)道線位置偏差不大時(shí)，為減小數(shù)據(jù)處理量，提高系統(tǒng)的實(shí)時(shí)性，可以通過(guò)Kalman濾波跟蹤車(chē)道線將要出現(xiàn)的區(qū)域（ROI），然后在該區(qū)域進(jìn)行車(chē)道線檢測(cè)，減少了車(chē)道線檢測(cè)的搜索面積。

車(chē)道線檢測(cè)的labview程序如圖5所示。

圖5車(chē)道線檢測(cè)的labview程序

4.2虛擬測(cè)試軟件實(shí)現(xiàn)

虛擬測(cè)試軟件的功能主要包括以下三個(gè)部分：車(chē)輛動(dòng)力學(xué)模型搭建、Veristand配置及儀表顯示、Carmaker三維場(chǎng)景建模。

車(chē)輛動(dòng)力學(xué)模型是整個(gè)虛擬測(cè)試平臺(tái)的基礎(chǔ)，搭建出一套符合實(shí)際車(chē)輛性能的模型可以保證測(cè)試過(guò)程更加有效可信。借助MATLAB/Simulink搭建的車(chē)輛動(dòng)力學(xué)模型如圖6所示。

圖6車(chē)輛動(dòng)力學(xué)模型

Veristand在虛擬測(cè)試系統(tǒng)中起集成作用，它主要完成以下三個(gè)功能：

（1）將車(chē)輛動(dòng)力學(xué)模型導(dǎo)入到PXI平臺(tái)；

（2）生成虛擬儀表，利用操作界面實(shí)時(shí)在線監(jiān)控運(yùn)行任務(wù)并與之交互；

（3）配置IO口、CAN通信數(shù)據(jù)連接關(guān)系。

Veristand系統(tǒng)配置及儀表顯示界面如7所示。

圖7Veristand系統(tǒng)配置及儀表顯示界面

Carmaker三維場(chǎng)景可以把車(chē)輛模型的輸出以運(yùn)動(dòng)的效果顯現(xiàn)出來(lái)。Veristand通過(guò)CAN通信的方式，將車(chē)輛模型的輸出數(shù)據(jù)傳遞給Carmaker軟件，Carmaker搭建不同的路況環(huán)境，使測(cè)試過(guò)程更加多樣化。Carmaker三維場(chǎng)景如圖8所示。

圖8Carmaker三維場(chǎng)景

虛擬測(cè)試部分的軟件將采集到的油門(mén)、方向盤(pán)等信息傳輸給在PXI中運(yùn)行的車(chē)輛動(dòng)力學(xué)模型，車(chē)輛模型仿真的動(dòng)態(tài)效果在虛擬現(xiàn)實(shí)軟件CarMaker中顯現(xiàn)出來(lái)。其中，車(chē)輛動(dòng)力學(xué)模型在MATLAB中搭建，通過(guò)仿真測(cè)試平臺(tái)VeriStand對(duì)模型配置，借助PXI平臺(tái)的優(yōu)越性，使得仿真測(cè)試過(guò)程更加流暢，實(shí)時(shí)性更高。

5集成和應(yīng)用

將EVS部分及PXI部分的硬件和軟件分別集成到一起，完成基于NIEVS和PXI的機(jī)器視覺(jué)輔助駕駛系統(tǒng)開(kāi)發(fā)。其實(shí)物如9圖所示。

圖9輔助駕駛系統(tǒng)實(shí)物

下面結(jié)合車(chē)道線檢測(cè)的開(kāi)發(fā)，介紹基于機(jī)器視覺(jué)輔助駕駛技術(shù)平臺(tái)的運(yùn)用。

在CarMaker中搭建不同的路況，在機(jī)器視覺(jué)系統(tǒng)通過(guò)編程設(shè)計(jì)，部分檢測(cè)結(jié)果如圖10所示。

圖10不同路況車(chē)道線檢測(cè)效果

其中圖a路況信息最簡(jiǎn)單，不存在干擾情況，圖b中存在一個(gè)十字路口，圖c中存在道路交通標(biāo)志，圖d中出現(xiàn)了彎道。從圖10可以看出，在無(wú)干擾情況下，可以正確的檢測(cè)出車(chē)道線，當(dāng)存在十字路口、交通標(biāo)志時(shí)，依然能檢測(cè)出車(chē)道線，當(dāng)存在彎道情況時(shí)，無(wú)法準(zhǔn)確檢測(cè)出車(chē)道線，這主要是在車(chē)道線檢測(cè)算法中未考慮曲線檢測(cè)的算法所致，需要在后續(xù)的開(kāi)發(fā)過(guò)程中完善。

6結(jié)論

針對(duì)基于機(jī)器視覺(jué)的輔助駕駛系統(tǒng)開(kāi)發(fā)面臨的難題，在分析系統(tǒng)需求的基礎(chǔ)上，借助NIEVS和PXI平臺(tái)，通過(guò)硬件設(shè)計(jì)和軟件編程，完成了此系統(tǒng)的開(kāi)發(fā)。通過(guò)對(duì)車(chē)道偏離預(yù)警（LDW）功能的設(shè)計(jì)與測(cè)試，證明該系統(tǒng)可以在機(jī)器視覺(jué)的輔助駕駛開(kāi)發(fā)中運(yùn)用。

該系統(tǒng)充分利用了NIEVS平臺(tái)出色的圖像處理能力及PXI平臺(tái)強(qiáng)大的仿真測(cè)試功能。在機(jī)器視覺(jué)功能開(kāi)發(fā)階段，EVS的硬件平臺(tái)及軟件資源可以幫助設(shè)計(jì)者快速完成建模及編程等步驟，縮短了研發(fā)的周期。PXI平臺(tái)的可靠性高，現(xiàn)場(chǎng)能力強(qiáng)，實(shí)時(shí)性好，軟硬件集成度高，可擴(kuò)展性好等特點(diǎn)，在有限投入下，實(shí)現(xiàn)了機(jī)器視覺(jué)駕駛輔助系統(tǒng)的虛擬測(cè)試。EVS平臺(tái)和PXI平臺(tái)的兼容性好，兩者結(jié)合，加快了機(jī)器視覺(jué)輔助駕駛技術(shù)從創(chuàng)意到產(chǎn)品的實(shí)現(xiàn)過(guò)程，并為其早日投入量產(chǎn)進(jìn)而提高汽車(chē)主動(dòng)安全性能打下基礎(chǔ)。