機器視覺是計算機視覺的一個分支,工業(yè)自動化領(lǐng)域中的視覺控制或視覺應(yīng)用,主要指的是通過前端光學(xué)攝像頭,從采集到的數(shù)字化圖像中提取相關(guān)信息,進行分析處理之后,用于對生產(chǎn)線流程或質(zhì)量的控制,以代替重復(fù)性人工操作。目前,機器視覺在工廠生產(chǎn)環(huán)節(jié)中的實際應(yīng)用包括:對生產(chǎn)工件的完整性質(zhì)量檢測、識別、分類、零件位置及方向、尺寸測量、讀碼識別追溯、表面/色差檢測、自動化流水線作業(yè)等等??梢哉f,機器視覺為流水產(chǎn)線、自動化設(shè)備安裝上了一雙“眼睛”,能夠提供全天候、高一致性、高可靠性的檢測結(jié)果,增添了工廠生產(chǎn)的智能化水平,因而也成為了邁向智能制造的一項重要技術(shù)。
根據(jù)有關(guān)機構(gòu)的統(tǒng)計數(shù)據(jù)顯示,在2019年,全球用于工業(yè)自動化領(lǐng)域的機器視覺技術(shù)的市場規(guī)模達53.7億美元左右,預(yù)計到2023年將達122.9億美元,年復(fù)合增長率高達21%,市場潛力巨大。
從整體供應(yīng)鏈來看,參與機器視覺系統(tǒng)開發(fā)的廠商大致上可以分為上游底層開發(fā)商,含核心零部件和軟件開發(fā)商;中游從事二次開發(fā)的設(shè)備集成和軟件服務(wù)商;以及下游所面對的各類機器視覺應(yīng)用廠商。其中,核心零部件及軟件供應(yīng)商主要包括光源、鏡頭、工業(yè)相機、圖像采集卡、圖像處理軟件等類型廠商,而在整個成本構(gòu)成中,零部件及軟件開發(fā)的費用基本上占了約80%的比例,可謂是重中之重。光源供應(yīng)商有OPT奧普特、銳視光電等;工業(yè)相機的主要品牌有Basler、堡盟、DALSA、Point Grey、Images Source等;市場上較知名的圖像軟件包有Halcon(MVtec)、VisionPro(康耐視)、免費開源庫Opencv、MIL(Matrox)等;運動控制卡供應(yīng)商有固高、雷賽、研華等等。
目前機器視覺在工業(yè)控制領(lǐng)域大多屬于二次開發(fā)層面,形式主要包括系統(tǒng)集成以及組裝生產(chǎn)自動化專機等等,要求開發(fā)商能夠掌握不同生產(chǎn)制造環(huán)境中的Know-How技術(shù),設(shè)計出有針對性的產(chǎn)品或集成方案,視覺點膠控制、視覺螺絲機控制、視覺定位+飛拍、視覺檢測等電子產(chǎn)品后段制造流程都是現(xiàn)在市場上的開發(fā)熱點。大部分廠商采用的都是“軟件平臺+視覺開發(fā)包”的開發(fā)模式,開發(fā)包基于軟件平臺對常用各種圖像處理算法進行封裝,軟件工程師可直接調(diào)用封裝好的算法,實現(xiàn)各種復(fù)雜的圖像處理和分析功能,大幅降低了二次開發(fā)的難度和工作量。
圖1 機器視覺產(chǎn)業(yè)供應(yīng)鏈組成
圖2 工業(yè)自動化領(lǐng)域機器視覺應(yīng)用分析(資料來源:智研咨詢)
視覺應(yīng)用的三大層面難題
但就實際應(yīng)用而言,在目前機器視覺+運動控制方案的實施過程中,各種“門檻”依然較高,問題主要來自于三個方面:一是,對于大部分技術(shù)開發(fā)工程師來說,機器視覺技術(shù)是一個全新的領(lǐng)域,要學(xué)習(xí)一種新的編程語言(如C++)存在一定的難度,需要花費大量的時間和精力,加上視覺項目一般都是非標(biāo)的,開發(fā)者的經(jīng)驗非常重要,普通電氣工程師要想快速掌握機器視覺應(yīng)用的編程和調(diào)試,絕非易事。
其次,對于設(shè)備制造商而言,為了提高工廠的生產(chǎn)效率,制造業(yè)產(chǎn)線升級的需求迫切,機器視覺的應(yīng)用已經(jīng)成為其中的一個重點,但機器視覺的硬件投資成本一直居高不下,令他們望而卻步;除了硬件投入之外,往往后期還需要高薪聘請視覺工程師對買回來的視覺系統(tǒng)進行開發(fā)和維護,這無疑又加重了工廠的人力成本。如何能夠有效地控制投資成本,是他們的主要訴求點,例如是否可以既經(jīng)濟又方便地在現(xiàn)有設(shè)備系統(tǒng)的基礎(chǔ)上添加機器視覺功能等。
另外,對于終端用戶來說,在使用機器視覺技術(shù)的過程中會發(fā)現(xiàn),機器視覺和自動化控制(流程控制、工藝控制等)往往分屬于兩套不同的系統(tǒng)之中,兩者之間常??赡軙捎谕ㄓ嵉榷喾N因素而導(dǎo)致整個系統(tǒng)的不穩(wěn)定(如出現(xiàn)停機、停線等狀況)。尤其是在當(dāng)前多品種、小批量、柔性化的生產(chǎn)模式下,產(chǎn)線的頻繁更換,增加了對機器視覺系統(tǒng)流程的修改和調(diào)試時間,從而大大影響了工廠產(chǎn)能,因此,如何讓設(shè)備在生產(chǎn)中更加穩(wěn)定,同時操作也更為便捷,能夠滿足產(chǎn)線快速調(diào)整和切換的需要,是機器視覺技術(shù)開發(fā)的一個課題。
機器視覺與運動控制的無縫集成
一般來說,機器視覺+運動控制應(yīng)用大多數(shù)硬件架構(gòu)都是采用一臺控制器,通過外部連接視覺系統(tǒng)及產(chǎn)線上各個部位的工業(yè)智能相機及光源,視覺信號通過線纜和串口被傳輸?shù)娇刂破髦小T趦?nèi)部軟件框架中,以常見的計算機視覺為例,視覺程序一般位于Windows系統(tǒng)中的非實時用戶模式中,進行代碼分析和算法處理;而PLC工藝流程控制則多位于實時內(nèi)核模式之中。由于非實時用戶模式的任務(wù)執(zhí)行機制采用的是優(yōu)先級別,因此當(dāng)CPU的負荷過高、內(nèi)存過大、處理流程過多時,就可能會出現(xiàn)卡頓的現(xiàn)象,使得在非實時用戶模式下的機器視覺在完成同一檢測任務(wù)時最終所需要花費的時間卻不一樣,導(dǎo)致減慢生產(chǎn)節(jié)拍,影響生產(chǎn)效率。
為了解決這一難題,針對機器視覺應(yīng)用,倍福開發(fā)的TwinCAT Vision機器視覺解決方案將視覺技術(shù)集成在其TwinCAT統(tǒng)一的通用化控制技術(shù)平臺上,其中的圖像處理功能被添加到整合了PLC、運動控制、機器人、高端測量技術(shù)、物聯(lián)網(wǎng)及HMI的通用控制平臺TwinCAT軟件之中,通過這個統(tǒng)一的軟件平臺,來完成工廠所有的控制任務(wù)。
與傳統(tǒng)的視覺應(yīng)用方式相比,倍福TwinCATV ision同樣在一臺控制器上,除了集成運動控制、I/O控制、PLC控制之外,外部工業(yè)相機被直接接入控制器中的機器視覺模塊中,在內(nèi)部軟件架構(gòu)上,TwinCAT Vision將采集的圖像信號通過GigE相機驅(qū)動,傳遞到實時內(nèi)核模式下的PLC機器視覺與工藝流程控制系統(tǒng)中,以“時間片”的方式進行精準(zhǔn)運行,與圖像處理相關(guān)的所有控制功能都可以在運行時系統(tǒng)中精確實時同步,從而消除了延遲,實時執(zhí)行圖像處理算法。這種方案的優(yōu)勢是,一臺控制器完成所有的控制任務(wù),降低硬件成本,簡化系統(tǒng);實時系統(tǒng)運行視覺任務(wù),保證每一次執(zhí)行響應(yīng)的時間足夠穩(wěn)定,加快生產(chǎn)節(jié)拍,提高工廠產(chǎn)能;任務(wù)內(nèi)存間共享數(shù)據(jù),多任務(wù)配合(如視覺+運動控制、機器臂/人等)更高效方便;在倍福TwinCAT平臺上,只需要用到基于IEC編程語言(ST/LD等),且可延續(xù)原先PLC編程技巧和習(xí)慣,縮短了開發(fā)周期,降低了人力成本,同時還可運用倍福已經(jīng)集成好的視覺功能塊進行代碼開發(fā),為技術(shù)人員帶來了便利。
底層芯片技術(shù)、算法庫是核心
工業(yè)生產(chǎn)對機器視覺的運算速度和準(zhǔn)確度要求較高,這些需要強大的底層技術(shù)來做支撐,例如CPU中央處理器芯片的性能、FPGA器件并行處理多級流水線的特點,以及專業(yè)視覺算法庫等等,以提高機器視覺系統(tǒng)的數(shù)據(jù)吞吐能力和數(shù)據(jù)處理能力。
今年5月,無錫信捷與英特爾攜手,發(fā)布了全新基于英特爾芯片的IoT工業(yè)控制器、智能相機等多款重磅產(chǎn)品?;谟⑻貭?4nm Apollo Lake&Kaby Lake平臺,信捷推出的V200|V300系列IoT工業(yè)控制器具有強大的計算性能和優(yōu)化的圖像處理能力,提供多種配置選擇。S200系列智能相機基于英特爾Apollo Lake平臺,采用IA+FPGA架構(gòu),集圖像采集、圖像處理和外部通訊于一體,支持130萬至1200萬像素,與傳統(tǒng)方案相比,S200系列智能相機滿載時最高表面溫度低于50℃,為智能制造提供了安全保證。另外,新的X-SIGHT VISIONSTUDIO軟件平臺具備超過2000個處理算子,包含常用的檢測、定位、標(biāo)定、通訊、字符讀碼等,無需編寫代碼,拖拽組件即可完成開發(fā),支持多線程多任務(wù)處理,并提供豐富的HMI交互模塊。據(jù)悉,除了此次發(fā)布會推出的產(chǎn)品和方案以外,信捷和英特爾在噴涂、打磨、人工智能識別、分揀等工業(yè)制造領(lǐng)域?qū)⒄归_全方位的合作交流。
而基于FPGA器件進行機器視覺的開發(fā),可以通過編程方便地修改其內(nèi)部的邏輯功能,從而實現(xiàn)高速的硬件計算和并行運算,是高性能嵌入式視覺系統(tǒng)的一種較為方便的解決方案,且功耗也較低,是未來計算機視覺系統(tǒng)的一個重要發(fā)展方向。
在視覺軟件方面,Vision Pro是康耐視開發(fā)的一款優(yōu)秀的計算機式視覺軟件,特點是簡單易用,它的Quick Build快速原型設(shè)計環(huán)境將高級編程的先進性、靈活性與易于開發(fā)性相結(jié)合,協(xié)助制造廠商縮短開發(fā)周期時間。借助VisionPro,用戶可以訪問功能較強的圖案匹配、斑點、卡尺、線位置、圖像過濾、OCR和OCV視覺工具庫,以及一維條碼和二維碼讀取,以執(zhí)行各種功能,如檢測、識別和測量等,VisionPro軟件可與廣泛的.NET類庫和用戶控件完全集成。此外,通過API連接VisionPro ViDi這款專為工業(yè)圖像分析設(shè)計的深度學(xué)習(xí)軟件,還能進一步優(yōu)化為復(fù)雜檢測、元件定位、分類以及光學(xué)字符識別等應(yīng)用場景。
一體化機器視覺集成方案
瞄準(zhǔn)現(xiàn)有生產(chǎn)過程中視覺應(yīng)用的“痛點”,從機器控制緊密結(jié)合的軟硬件集成方案入手,貝加萊推出的集成了鏡頭、工業(yè)相機、軟件在內(nèi)的一體化視覺系統(tǒng),是另一種實現(xiàn)方式。
這種軟硬結(jié)合的一體化集成視覺系統(tǒng)解決了視覺檢測應(yīng)用中的同步性問題,首先是照明與成像的同步,對于視覺而言,照明的良好設(shè)計構(gòu)成了視覺應(yīng)用70%的成功權(quán)重,集成化視覺方案由于由同一控制器控制,使得照明的LED強度、頻閃和相機的對焦、曝光、成像過程在極高的速度下實現(xiàn)同步,從而保證了成像質(zhì)量;二是視覺系統(tǒng)與自動化系統(tǒng)的同步,集成視覺方案令視覺應(yīng)用與機器工藝、控制無縫融合,同時與貝加萊自身的控制、運動控制、I/O模塊一起,在POWERLINK架構(gòu)下實現(xiàn)百μS級的同步,令到整體系統(tǒng)能夠達到更高的精度和速度。
另一方面,這種視覺集成方案對于現(xiàn)場集成應(yīng)用的開發(fā)者非常便利,他可以不再需要了解各種鏡頭、相機、控制器、照明、通信接口的知識,僅需使用一個產(chǎn)品就可以去構(gòu)建各種視覺應(yīng)用,縮短了項目開發(fā)周期,大幅降低了工程時間與成本。利用貝加萊mapp技術(shù)框架提供的現(xiàn)成的軟件組件,通過較少的編程就可以輕松創(chuàng)建機器視覺應(yīng)用程序,只需要點擊幾下即可將智能攝像頭捕獲的圖像集成到mapp View HMI應(yīng)用程序中,攝像頭和照明參數(shù)以及觸發(fā)條件可隨時更改,使得產(chǎn)品換型和其它運行時間調(diào)整都非常容易實施。
實際上,在各種復(fù)雜的工業(yè)生產(chǎn)場景中,照明光源尤為重要,它直接關(guān)系到采集圖像的質(zhì)量,例如圖像輪廓是否清晰、成像特征是否完美體現(xiàn)等等。為此,貝加萊的集成視覺系統(tǒng)還提供非常靈活的光源照明管理功能,包括背景光、光帶的模塊化設(shè)計,可-40°至+90°電動旋轉(zhuǎn),并且內(nèi)置了閃光控制器、支持多種顏色、大功率的快速響應(yīng),這些都可以根據(jù)現(xiàn)場應(yīng)用進行配置,還可以實時修改曝光時間長度、角度、顏色等等,這些功能讓機器視覺應(yīng)用變得更加靈活自如。
結(jié)語
機器視覺與運動控制的結(jié)合,為工業(yè)自動化產(chǎn)線的升級帶來一股新活力,也越來越多地被應(yīng)用在非接觸檢測、測量場景中,用以提高加工精度、發(fā)現(xiàn)產(chǎn)品缺陷、進行自動分析與決策等,因而成為了先進制造的重要組成部分。目前來看,盡管機器視覺技術(shù)在工業(yè)自動化行業(yè)的應(yīng)用牽涉到光學(xué)、電子、機械、工業(yè)軟件等多個不同門類的學(xué)科,技術(shù)難度仍然較大,某些特定領(lǐng)域的市場準(zhǔn)入壁壘也較高;但顯而易見的是,機器視覺與運動控制技術(shù)相結(jié)合,促進了工廠產(chǎn)線自動化水平、產(chǎn)品品質(zhì)管控、人力成本結(jié)構(gòu)等方面的優(yōu)化,進而提升了企業(yè)的綜合競爭力。未來,融合邊緣計算與深度學(xué)習(xí)等AI技術(shù)的機器視覺系統(tǒng),將真正為機器植入“眼睛與大腦”,為邁向工業(yè)4.0時代做好準(zhǔn)備。