3D視覺(jué)是一個(gè)多學(xué)科相融合的技術(shù),可以總結為:計算圖形學(xué)+計算機視覺(jué)+人工智能=3D視覺(jué)。3D視覺(jué)技術(shù)是通過(guò)3D攝像頭采集視野空間內每個(gè)點(diǎn)位的三維座標信息,通過(guò)算法復原獲取三維立體成像,不會(huì )輕易受到外界環(huán)境、復雜光線(xiàn)的影響,與2D成像技術(shù)相比更穩定,體驗感更強,安全性更高。3D傳感器作為3D視覺(jué)的眼睛,通過(guò)多個(gè)攝像頭與深度傳感器的組合能夠獲得物體三維位置及尺寸等數據,實(shí)現三維信息采集。目前3D視覺(jué)傳感器主要有雙目相機、結構光相機及TOF(Time of flight)相機。·3D結構光技術(shù)原理:采用紅外光源,發(fā)射出來(lái)的光經(jīng)過(guò)一定的編碼投影在物體上, 這些圖案經(jīng)物體表面反射回來(lái)時(shí),隨著(zhù)物體距離的不同會(huì )發(fā)生不同的形變。圖像傳感器將形變后的圖案拍下來(lái),基于三角定位法,通過(guò)計算拍下來(lái)的圖案里的每個(gè)像素的變形量,來(lái)得到對應的視差,從而進(jìn)一步測算深度值。·TOF工作原理:采用紅外光源發(fā)射高頻光脈沖到物體上,然后接收從物體反射回去的光脈沖,通過(guò)探測光脈沖的飛行(往返)時(shí)間來(lái)計算被測物體離相機的距離。TOF目前市場(chǎng)上有兩種主流方案 dTof和iTof。行業(yè)人士認為,未來(lái),dtof會(huì )逐漸取代itof方案,因為dtof在很多關(guān)鍵性能方面對于itof都有絕對優(yōu)勢,如分辨率,精度對距離感知不明顯,超低功耗,抗干擾能力強,標定方式簡(jiǎn)單。但其技術(shù)壁壘較高,系統集成度高,供應鏈資源少。·雙目立體視覺(jué)技術(shù)原理:通過(guò)從兩個(gè)視點(diǎn)觀(guān)察同一物體,從而來(lái)獲得同一物體在不同視角下的圖像。通過(guò)三角測量原理來(lái)計算圖像像素間的位置偏差(視差)來(lái)獲取物體的三維圖像,過(guò)程跟人類(lèi)眼睛的工作原理相似。在雙目立體視覺(jué)系統的硬件結構中,通常采用兩個(gè)攝像機作為視覺(jué)信號的采集設備,通過(guò)雙輸入通道圖像采集卡與計算機連接,把攝像機采集到的模擬信號經(jīng)過(guò)采樣、濾波、強化、模數轉換,最終向計算機提供圖像數據。
技術(shù)路線(xiàn)
|
雙目
|
結構光
|
ToF
|
立體雙目
(被動(dòng))
|
雙目結構光
(主動(dòng))
|
優(yōu)點(diǎn)
|
技術(shù)成熟、系統成本低、室內外有一定兼容能力
|
主動(dòng)添加物理紋理、解決單一紋理環(huán)境問(wèn)題、近距離中高精度、抗環(huán)境光干擾(半室外環(huán)境可用)
|
主動(dòng)投影,適合弱光照使用、近距離(1米內) 毫米級精度 、功耗低
|
算法簡(jiǎn)單、測距更遠、幀率高、光照影響小、不同距離精度變化小、兼容室內外動(dòng)態(tài)場(chǎng)景
|
缺點(diǎn)
|
單一紋理環(huán)境無(wú)法識別、強暗光影響大、視覺(jué)匹配算法復雜
|
遠距離精度差、強光環(huán)境不適用
|
遠距離精度相對較差,隨著(zhù)距離的拉長(cháng),投影圖案變大,精度也隨之變差,室外強光照不宜使用,強光干擾
|
功耗大、中等精度
|
圖表:3D視覺(jué)不同技術(shù)路線(xiàn)優(yōu)缺點(diǎn)對比
3D視覺(jué)在移動(dòng)機器人領(lǐng)域的應用
隨著(zhù)視覺(jué)技術(shù)逐步從2D向3D過(guò)渡,3D視覺(jué)傳感器以深度感知能力,在三維空間實(shí)時(shí)感應、目標物體精準識別、多重障礙檢測避障、智能決策及自動(dòng)化引導等方面占據領(lǐng)先技術(shù)優(yōu)勢,目前已大批量應用在物流電商、自動(dòng)化、制造業(yè)廠(chǎng)內物流、工業(yè)及服務(wù)機器人、商業(yè)等多元化場(chǎng)景,應用邊界不斷拓寬。
在移動(dòng)機器人領(lǐng)域,3D視覺(jué)主要用于導航、避障以及末端物料識別、對接。準確感知復雜環(huán)境是移動(dòng)機器人的首要任務(wù)。“環(huán)境”在這里包含多重含義,以無(wú)人叉車(chē)叉取托盤(pán)為例,既包含室內外不同光照強度的干擾、前方是否有障礙、行進(jìn)路面是否空闊平坦,也包含環(huán)境有什么類(lèi)型的物體、是否有人誤入需要減慢或暫停、前方托盤(pán)是空載還是滿(mǎn)載、滿(mǎn)載托盤(pán)的插孔位在哪里、又如何規劃叉取路線(xiàn)等。簡(jiǎn)化邏輯就是,基于視覺(jué)感知的移動(dòng)機器人準確識別周?chē)h(huán)境,要避開(kāi)動(dòng)靜態(tài)障礙物(避障),動(dòng)態(tài)接近至到達目標物體(導航),并與目標物體正確交互(目標探測、定位識別)。在導航方面,視覺(jué)導航被認為是未來(lái)的主要方向之一。從技術(shù)的角度而言,當前應用較多的2D激光導航,只能檢測到固定平面的障礙物,對于高于或低于此平面物體都是其盲區,3D視覺(jué)技術(shù)則可以克服此缺點(diǎn),能夠獲取現實(shí)三維場(chǎng)景完整的幾何信息,利用帶有深度信息的圖像來(lái)實(shí)現對于場(chǎng)景的精準的數字化,從而實(shí)現高精度的識別、定位、重建、場(chǎng)景理解等機器視覺(jué)的關(guān)鍵功能。專(zhuān)注于視覺(jué)導航移動(dòng)機器人開(kāi)發(fā)的藍芯科技表示,3D視覺(jué)SLAM無(wú)人叉車(chē)在多變場(chǎng)景、空曠環(huán)境中的應用優(yōu)勢大于2D激光SLAM機器人。“例如在地堆型倉庫,地堆貨物隨時(shí)都在變動(dòng),對采用激光SLAM方案的移動(dòng)機器人而言,頻繁的進(jìn)出庫、位置的時(shí)刻變化,意味著(zhù)激光雷達掃描的輪廓時(shí)刻在變,要在不斷變化的環(huán)境中做到可靠定位是十分困難的事情。在大型空曠車(chē)間場(chǎng)景,車(chē)間內部鋼結構立柱間距較大,地面缺少其他固定參照物。激光SLAM機器人在這類(lèi)場(chǎng)景下掃描的點(diǎn)云稀疏,定位的可靠性大大減弱。而視覺(jué)SLAM機器人通過(guò)搭載深度相機采集周?chē)h(huán)境圖像,采集的環(huán)境信息豐富,生成稠密點(diǎn)云圖,環(huán)境局部改變不影響機器人定位,因而擁有較高的場(chǎng)景適應性。”除性能外,從成本的角度來(lái)看,當前激光傳感器的價(jià)格要遠高于3D深度相機,視覺(jué)技術(shù)的應用正好契合了移動(dòng)機器人廠(chǎng)商降成本的需求。市面上避障傳感器種類(lèi)繁多,如:?jiǎn)尉€(xiàn)激光雷達、超聲波、碰撞條等。碰撞條通常作為最后一道暴力防撞措施;超聲波避障經(jīng)常出現誤判;單線(xiàn)激光雷達存在較大盲區(只掃描二維平面內的障礙物,低于或高于激光的障礙物無(wú)法檢測,存在較大安全隱患);3D視覺(jué)傳感器可彌補激光這一缺陷。目前移動(dòng)機器人最佳避障方案應是3D視覺(jué)傳感器+激光雷達,——3D視覺(jué)傳感器作為中短距離精確避障,激光雷達作為遠距離二維避障。因為T(mén)OF基本不存在盲區,所以目前用于A(yíng)GV避障的3D視覺(jué)相機基本是TOF型的。圖漾科技3D TOF 智能工業(yè)相機TL460-S1-E1一些倉庫貨物放置環(huán)境復雜,人工/貨車(chē)放置托盤(pán)的位置不夠精確,導致無(wú)人叉車(chē)依靠傳統的機械限位或者單目相機識別的方式無(wú)法準確識別托盤(pán),常常出現無(wú)人叉車(chē)對接托盤(pán)位置偏移角度較大,進(jìn)而導致進(jìn)叉失敗,叉車(chē)工作效率低下。依靠3D 視覺(jué)進(jìn)行托盤(pán)圖像采集,結合相應圖像處理算法對叉車(chē)貨物托盤(pán)進(jìn)行識別,并得到其位置與姿態(tài)坐標,智能調整進(jìn)叉方向從而實(shí)現無(wú)人化智能托盤(pán)搬運,解決無(wú)人叉車(chē)對接托盤(pán)位置偏移角度較大的問(wèn)題。同時(shí),結合人工智能算法對托盤(pán)識別模型進(jìn)行強化訓練和深度學(xué)習,可以進(jìn)一步提升其識別叉車(chē)貨物托盤(pán)與跟蹤的準確性。易福門(mén)3D ToF相機用于無(wú)人叉車(chē)棧板定位應用
導航、避障、末端識別對接……盡管都需要用到3D視覺(jué)技術(shù),但由于各自的需求特性不同,對技術(shù)要求也會(huì )有一些差異。易福門(mén)相關(guān)負責人表示;“從細節上講,導航應用,最重要的是測距精度和幀率,避障應用,最重要的是FoV尺寸和幀率;末端識別應用,最重要的則是高測距精度和點(diǎn)云密度。”近幾年,伴隨著(zhù)移動(dòng)機器人對3D視覺(jué)技術(shù)需求的上升,針對不同應用的不同需求,為了更好的適應場(chǎng)景,3D視覺(jué)廠(chǎng)商門(mén)也針對性的推出了相應產(chǎn)品。作為工業(yè)自動(dòng)化領(lǐng)域電子傳感器的領(lǐng)先制造商之一。易福門(mén)3D ToF相機自2017年開(kāi)始在移動(dòng)機器人行業(yè)逐漸滲透,隨后不斷深入,目前已與國內眾多移動(dòng)機器人廠(chǎng)商達成合作,被廣泛應用于各大國內外機器人公司的AMR上,包括各種無(wú)人叉車(chē),各種潛伏式、重載式AGV等。不論是室內還是室外用,避障導航還是末端識別對接,易福門(mén)都可提供非常完善的3D感知方案。圖漾科技是全球領(lǐng)先的3D機器視覺(jué)供應商,為工業(yè)和行業(yè)應用提供高性?xún)r(jià)比的3D工業(yè)相機和配套軟件方案。圖漾科技基于創(chuàng )新并擁有核心專(zhuān)利的3D視覺(jué)技術(shù),基于雙目散斑靜態(tài)結構光和TOF技術(shù)平臺,現已推出FM/FS、FM-IX、PM/PS、TM/TL等四個(gè)產(chǎn)品系列、共30多個(gè)產(chǎn)品型號的量產(chǎn)產(chǎn)品矩陣,在移動(dòng)機器人領(lǐng)域,圖漾主要提供3D ToF工業(yè)相機TM461-E2、TL460-S1-E1(內置AI邊緣算力)等產(chǎn)品。而除了傳感器廠(chǎng)商外,自主開(kāi)發(fā)視覺(jué)傳感器的移動(dòng)機器人廠(chǎng)商,通過(guò)實(shí)際應用不斷打磨迭代產(chǎn)品的移動(dòng)機器人廠(chǎng)商,也開(kāi)始將其視覺(jué)傳感器推向市場(chǎng),如藍芯科技。2022年,藍芯科技開(kāi)始將視覺(jué)產(chǎn)品部分獨立出來(lái)支持和賦能部分移動(dòng)機器人公司。
企業(yè)
|
導航
|
避障
|
末端識別、對接
|
易福門(mén)
|
O3R222,采用940nm光源,可全天候工作,包括可以直接在陽(yáng)光照射條件下使用,這幀率較高,可以一直工作在20 FPS,讓視覺(jué)里程計更加準確,回環(huán)檢測更加容易,可大幅提高局部場(chǎng)景的導航和定位能力。
|
O3R225,采用了940nm光源,可全天候工作,并且強化了FoV的角度,達到了105°*78°,是市面上FoV最大的3D ToF相機。兩臺O3R225可得到超過(guò)180°的3D視野,4臺O3R225可達到360°的3D視野,同時(shí)還可持續工作在20FPS。
|
O3D303或者O3R222,這兩款產(chǎn)品可提供非常高精度的點(diǎn)云,同時(shí)點(diǎn)云密度比較高,適合托盤(pán)或者貨物的位置和角度檢測定位。
|
圖漾科技
|
室內中遠距離:TM461-E2,0.1-10.0m測距范圍,深度視場(chǎng)角65°H * 50°V,在96.4 mm x 67.5 mm x 35.8 mm的緊湊體積內,集成了2K RGB分辨率+ VGA 深度分辨率的2路攝像頭及邊緣計算等功能,能夠實(shí)現實(shí)時(shí)精確的動(dòng)態(tài)目標檢測及視覺(jué)導航避障功能。
室內外遠距離:TL460-S1-E1,基于索尼背照式ToF傳感器IMX556,毫米級測量精度,深度視場(chǎng)角62°H * 49°V,支持遠距離和室內外應用(室內9.5m,室外4m),內置地平線(xiàn)旭日X3M芯片提供等效5TOPS的本地AI算力,可實(shí)現高達30幀/秒的RGB-D圖像采集分析、實(shí)時(shí)圖像處理和機器學(xué)習等多功能。
|
藍芯科技
|
Eagle-V1:
視場(chǎng)角108°×80°,幀率30fps,定位精度達+/-5mm,可提供視覺(jué)定位SDK,支持移動(dòng)機器人在復雜環(huán)境下的定位導航。已在A(yíng)MR產(chǎn)品中成熟應用。
|
Eagle-M3:FOV109°×92°,抗環(huán)境光能力強,達150kLux,可提供避障SDK,支持移動(dòng)機器人對懸空/低矮障礙物檢測,和動(dòng)/靜態(tài)障礙物檢測。已在A(yíng)MR產(chǎn)品中成熟應用。
Eagle-S1:FOV 114°×35°,體積小便于安裝,帶避障區域設置功能,直接輸出避障控制信號,使用方法完全兼容2D避障激光雷達,用于無(wú)人叉車(chē)叉齒避障。
|
Eagle-M4:體積小便于安裝,有多種FOV可選,抗環(huán)境光能力強,可提供托盤(pán)對接SDK,支持無(wú)人叉車(chē)對托盤(pán)的對接識別。已在A(yíng)MR產(chǎn)品中成熟應用。
|
圖表:部分3D視覺(jué)企業(yè)面向不同場(chǎng)景應用的視覺(jué)傳感器產(chǎn)品
未來(lái)方向:更高分辨率、更快幀率、更好環(huán)境適應性
隨著(zhù)移動(dòng)機器人應用不斷深入,要讓機器人看見(jiàn)世界、看清世界、看懂世界,市場(chǎng)將對其感知能力提出了更高的要求,而3D視覺(jué)技術(shù)的發(fā)展正好契合了這種需求。圖漾科技相關(guān)負責人表示:“視覺(jué)傳感器技術(shù)的發(fā)展從早期的單點(diǎn)感應傳感器,到2D視覺(jué)傳感器,一直到現在3D視覺(jué)傳感器。3D視覺(jué)傳感器更接近于人眼的傳感原理,使得3D視覺(jué)傳感技術(shù)成為目前物流移動(dòng)機器人導航技術(shù)的趨勢,3D視覺(jué)技術(shù)在移動(dòng)機器人上的應用,拓展了移動(dòng)機器人的應用領(lǐng)域,增強了移動(dòng)機器人的智力感和可靠性,也加速推動(dòng)了移動(dòng)機器人產(chǎn)業(yè)的發(fā)展。”圖漾科技3D TOF 智能工業(yè)相機TM461-E2易福門(mén)方面也提到,近幾年,3D視覺(jué)技術(shù)的發(fā)展讓移動(dòng)機器人裝上眼睛,后期它對眼睛的需求會(huì )越來(lái)越大。但整體來(lái)看,當前3D視覺(jué)在移動(dòng)機器人領(lǐng)域的應用尚在初期階段。未來(lái),隨著(zhù)移動(dòng)機器人不斷更新迭代,應用環(huán)境的愈加多樣化,對3D視覺(jué)系統也將有著(zhù)更為嚴苛的要求,這也將刺激3D視覺(jué)系統升級。易福門(mén)相關(guān)負責人表示,隨著(zhù)移動(dòng)機器人的不斷發(fā)展,對于3D相機的需求也將不斷提升,如更高的分辨率,更快的幀率,更好的環(huán)境適應性等,這些都是未來(lái)發(fā)展的方向,“我們需要根據機器人廠(chǎng)商的需要,去提供更適配的產(chǎn)品。”藍芯科技預測,“未來(lái),視覺(jué)感知系統一定是往信息更加稠密、以及多樣化角度進(jìn)行融合,因為只有拉升了信息量,后端才能談智能化、柔性化,才能做分析,才能更安全更穩定。感知系統一定是一個(gè)從前到后的過(guò)程,先有足夠信息捕獲量,再談信息處理,我們從過(guò)往的項目經(jīng)驗中得到了很深的體會(huì )。從這個(gè)維度來(lái)看趨勢,感知的顆粒度只會(huì )不斷細化。”