在泛機器人、無(wú)人機、元宇宙和多種新興應用的推動(dòng)下，3D視覺(jué)正在成為全球追逐的熱點(diǎn)技術(shù)。
從技術(shù)方案上看，目前常見(jiàn)的3D視覺(jué)方案主要包括雙目、結構光和TOF 三個(gè)技術(shù)方向。這三種技術(shù)方向各有所長(cháng)，國內外也有不少廠(chǎng)商圍繞著(zhù)這三個(gè)方向打造其解決方案。在銀牛微電子（下稱(chēng)“銀牛”）首席產(chǎn)品官白逸看來(lái)，以雙目立體視覺(jué)為核心的多傳感器融合方案，是未來(lái)3D視覺(jué)應用的重要發(fā)展趨勢。
全球唯一量產(chǎn)，單芯片集成
和基于TOF、結構光原理的深度相機不同，雙目立體視覺(jué)技術(shù)完全依靠同時(shí)拍攝的兩張圖片所產(chǎn)生的視差信息（彩色RGB或者灰度圖）來(lái)計算目標物體的深度信息。為此在實(shí)際的方案打造中，除了對雙目立體視覺(jué)算法的芯片化要求更高以外，為了整個(gè)設計的靈活性，開(kāi)發(fā)者也對芯片乃至整個(gè)方案的尺寸和成本有著(zhù)更嚴苛的要求。
正如白逸所說(shuō)，業(yè)界通用做3D雙目立體視覺(jué)方案時(shí)，都是在傳統的CPU、FPGA等上跑相關(guān)算法，這樣不但導致硬件算力需求過(guò)高，同時(shí)在系統功耗方面也帶來(lái)了挑戰。為此，3D視覺(jué)行業(yè)在借鑒了音視頻編解碼從“通用芯片+軟件”的解決方案到定制芯片方案的發(fā)展歷程，算法芯片化的高集成度方案成為了3D雙目立體視覺(jué)的重要發(fā)展方向。
從技術(shù)方案上看，目前常見(jiàn)的3D視覺(jué)方案主要包括雙目、結構光和TOF 三個(gè)技術(shù)方向。這三種技術(shù)方向各有所長(cháng)，國內外也有不少廠(chǎng)商圍繞著(zhù)這三個(gè)方向打造其解決方案。在銀牛微電子（下稱(chēng)“銀牛”）首席產(chǎn)品官白逸看來(lái)，以雙目立體視覺(jué)為核心的多傳感器融合方案，是未來(lái)3D視覺(jué)應用的重要發(fā)展趨勢。
全球唯一量產(chǎn)，單芯片集成
和基于TOF、結構光原理的深度相機不同，雙目立體視覺(jué)技術(shù)完全依靠同時(shí)拍攝的兩張圖片所產(chǎn)生的視差信息（彩色RGB或者灰度圖）來(lái)計算目標物體的深度信息。為此在實(shí)際的方案打造中，除了對雙目立體視覺(jué)算法的芯片化要求更高以外，為了整個(gè)設計的靈活性，開(kāi)發(fā)者也對芯片乃至整個(gè)方案的尺寸和成本有著(zhù)更嚴苛的要求。
正如白逸所說(shuō)，業(yè)界通用做3D雙目立體視覺(jué)方案時(shí)，都是在傳統的CPU、FPGA等上跑相關(guān)算法，這樣不但導致硬件算力需求過(guò)高，同時(shí)在系統功耗方面也帶來(lái)了挑戰。為此，3D視覺(jué)行業(yè)在借鑒了音視頻編解碼從“通用芯片+軟件”的解決方案到定制芯片方案的發(fā)展歷程，算法芯片化的高集成度方案成為了3D雙目立體視覺(jué)的重要發(fā)展方向。
銀牛順應行業(yè)發(fā)展趨勢，深耕3D算法芯片化的高集成度單芯片解決方案，并致力于成為3D視覺(jué)時(shí)代全球領(lǐng)先的半導體企業(yè)。“我們的自研系列芯片是全球唯一量產(chǎn)單芯片集成3D視覺(jué)感知、AI（人工智能）、SLAM（實(shí)時(shí)定位與建圖）的系統級芯片”，白逸在日前舉辦的光博會(huì )上告訴筆者。他同時(shí)強調，銀牛是國內唯一一家把3D雙目立體視覺(jué)算法實(shí)現芯片化的企業(yè)，在國際上也是唯二的。“我們實(shí)際上是在邊緣端整合了一個(gè)空間計算和點(diǎn)云的異構平臺，打造了一系列感算一體化的3D視覺(jué)芯片”。
目前，銀牛已經(jīng)推出了基于12nm先進(jìn)工藝打造的NU4000及NU4100這兩顆3D視覺(jué)芯片。
白逸介紹說(shuō)，NU4000芯片的特點(diǎn)在于將雙目立體視覺(jué)技術(shù)的算法芯片化，同時(shí)也集成了全球領(lǐng)先的3D感知處理硬件單元、AI與SLAM硬件引擎，能有效分擔系統算力、降低系統功耗和成本。
白逸介紹說(shuō)，NU4000芯片的特點(diǎn)在于將雙目立體視覺(jué)技術(shù)的算法芯片化，同時(shí)也集成了全球領(lǐng)先的3D感知處理硬件單元、AI與SLAM硬件引擎，能有效分擔系統算力、降低系統功耗和成本。
據了解，通過(guò)芯片內建的完全可編程AI CNN引擎，銀牛自研系列芯片最高能提供3.5TOPS算力，不僅提供完整的人工智能/深度學(xué)習解決方案和算法庫，同時(shí)提供客制化人工智能算法API接口滿(mǎn)足客戶(hù)靈活需求相比業(yè)界通用方法將軟件算法直接運行在系統處理器；通過(guò)實(shí)現SLAM的芯片化，銀牛自研系列芯片將SLAM流程分工到不同芯片模塊中運行，節省了系統主控芯片算力。
2022年成功量產(chǎn)的NU4100芯片，與NU4000相比，其深度感知及SLAM引擎保持不變，但額外集成了2路4K的ISP，并對片上AI引擎進(jìn)行了迭代升級，使得其AI算力相比NU4000幾乎翻倍，能以更低成本、更低功耗的方式幫助客戶(hù)實(shí)現系統升級。正是得益于這兩項關(guān)鍵性技術(shù)點(diǎn)的提升，讓NU4100在越來(lái)越多的彩色圖像與3D視覺(jué)結合的場(chǎng)景中 (如無(wú)人機、3D掃描、智能制造、MR頭顯應用等)，處理起來(lái)更加得心應手。
作為一系列內建包括3D深度處理引擎、SLAM引擎和通用視覺(jué)加速引擎等眾多自研處理器引擎的芯片，銀牛的自研芯片可以直接充當系統協(xié)處理器，為系統提供強勁的邊緣感知計算能力。
擁有了這些領(lǐng)先的芯片和技術(shù)，銀牛能夠針對不同市場(chǎng)的需求，提供更全面的服務(wù)。
從芯片到方案，全面覆蓋
在與白逸的交流中，他強調，銀牛不但可以為行業(yè)客戶(hù)提供3D視覺(jué)芯片，為加快他們的開(kāi)發(fā)速度，公司針對不同應用的需求，提供端到端芯片、算法、模組和系統的全棧解決方案，以加速3D立體視覺(jué)技術(shù)在泛機器人等市場(chǎng)應用的落地。“我們現在主要瞄準的方向包括了泛機器人、元宇宙、物流無(wú)人機等領(lǐng)域。”白逸補充說(shuō)。
白逸舉例指出，公司的一顆芯片可以支持6路攝像頭，那就意味著(zhù)只用兩顆芯片就能支持類(lèi)似蘋(píng)果Vision Pro的12路攝像頭方案。在他看來(lái)，搭載銀牛芯片的解決方案，不但擁有功耗低、空間小等優(yōu)勢，使用銀牛芯片的系統方案成本也擁有現有方案難以比擬的價(jià)格優(yōu)勢。
在光博會(huì )現場(chǎng)，銀牛除了帶來(lái)了目前市場(chǎng)上唯一一款支持SLAM算法和自主導航避障等多功能于一體的3D雙目立體視覺(jué)模組C158外，公司還帶來(lái)R132、R130和R112等產(chǎn)品的展示。
2022年成功量產(chǎn)的NU4100芯片，與NU4000相比，其深度感知及SLAM引擎保持不變，但額外集成了2路4K的ISP，并對片上AI引擎進(jìn)行了迭代升級，使得其AI算力相比NU4000幾乎翻倍，能以更低成本、更低功耗的方式幫助客戶(hù)實(shí)現系統升級。正是得益于這兩項關(guān)鍵性技術(shù)點(diǎn)的提升，讓NU4100在越來(lái)越多的彩色圖像與3D視覺(jué)結合的場(chǎng)景中 (如無(wú)人機、3D掃描、智能制造、MR頭顯應用等)，處理起來(lái)更加得心應手。
作為一系列內建包括3D深度處理引擎、SLAM引擎和通用視覺(jué)加速引擎等眾多自研處理器引擎的芯片，銀牛的自研芯片可以直接充當系統協(xié)處理器，為系統提供強勁的邊緣感知計算能力。
擁有了這些領(lǐng)先的芯片和技術(shù)，銀牛能夠針對不同市場(chǎng)的需求，提供更全面的服務(wù)。
從芯片到方案，全面覆蓋
在與白逸的交流中，他強調，銀牛不但可以為行業(yè)客戶(hù)提供3D視覺(jué)芯片，為加快他們的開(kāi)發(fā)速度，公司針對不同應用的需求，提供端到端芯片、算法、模組和系統的全棧解決方案，以加速3D立體視覺(jué)技術(shù)在泛機器人等市場(chǎng)應用的落地。“我們現在主要瞄準的方向包括了泛機器人、元宇宙、物流無(wú)人機等領(lǐng)域。”白逸補充說(shuō)。
白逸舉例指出，公司的一顆芯片可以支持6路攝像頭，那就意味著(zhù)只用兩顆芯片就能支持類(lèi)似蘋(píng)果Vision Pro的12路攝像頭方案。在他看來(lái)，搭載銀牛芯片的解決方案，不但擁有功耗低、空間小等優(yōu)勢，使用銀牛芯片的系統方案成本也擁有現有方案難以比擬的價(jià)格優(yōu)勢。
在光博會(huì )現場(chǎng)，銀牛除了帶來(lái)了目前市場(chǎng)上唯一一款支持SLAM算法和自主導航避障等多功能于一體的3D雙目立體視覺(jué)模組C158外，公司還帶來(lái)R132、R130和R112等產(chǎn)品的展示。
據介紹，C158是一款寬基線(xiàn)的3D雙目立體視覺(jué)模組，有U口版和工業(yè)網(wǎng)口版兩個(gè)版本可選。該款模組搭載了高達2T運算能力的NU4000 SOC芯片，集成了3D、Al、SLAM算法，有強大的深度和RGB感知能力，可為不同的應用場(chǎng)景提供高精度、高質(zhì)量的深度數據，另外，它還搭配了雙魚(yú)眼和六軸IMU，能達到800Hz采樣，實(shí)現實(shí)時(shí)的高精度建圖和重定位。
銀牛方面也強調，因雙目立體視覺(jué)技術(shù)的特性，使得C158不但在室內有非常好的深度數據效果，在室外也表現出色，甚至在強光超過(guò)15萬(wàn)Lux的光照條件下深度數據依然精準。
銀牛方面也強調，因雙目立體視覺(jué)技術(shù)的特性，使得C158不但在室內有非常好的深度數據效果，在室外也表現出色，甚至在強光超過(guò)15萬(wàn)Lux的光照條件下深度數據依然精準。
R132則是大廣角的3D雙目立體視覺(jué)系列模組，同樣有U口版、工業(yè)網(wǎng)口版和專(zhuān)注3D掃描的R132-scan版本可選。該款模組體積小但功能強大，內部同時(shí)搭載彩色RGB和六軸IMU，可為不同的應用場(chǎng)景提供高精度、高質(zhì)量的深度數據和彩色數據。由于它大廣角的視野和寬廣的測量范圍，可輕松應用到各種感知和測量解決方案中。“該系列模組可以滿(mǎn)足泛機器人客戶(hù)高度關(guān)注的大視場(chǎng)角需求，同時(shí)，R132系列模組的盲區小至10cm，能夠更好地支持機器人在窄小空間進(jìn)行自主避障。”白逸說(shuō)。
本次光博會(huì )上展出的R130和R112則是銀牛在今年發(fā)布的最新視覺(jué)模組。其中R130模組基于雙目立體視覺(jué)技術(shù)獲取物體的深度圖像，同時(shí)利用彩色相機采集物體的彩色影像，適用于 0.2m-3m 距離進(jìn)行3D物體的感知、測量等，可廣泛應用在機器人感知、避障、導航等場(chǎng)景；R112則是一款高精度的近距版雙目立體視覺(jué)模組，主打定位是短距深度測量，探測距離可低達5cm，精度在亞毫米級，能幫助客戶(hù)設備近距離、高精度地拾取和放置小型物體，也可應用在缺陷檢測等場(chǎng)景。
從銀牛的介紹我們可以看到，公司的解決方案已經(jīng)在泛機器人、元宇宙、物流無(wú)人機、AIoT、智慧醫療和消費電子等領(lǐng)域落地。展望未來(lái)，白逸認為，銀牛的3D雙目立體視覺(jué)方案能在汽車(chē)自動(dòng)駕駛市場(chǎng)上找到新的機會(huì )。
寫(xiě)在最后
白逸表示，縱觀(guān)當前的汽車(chē)自動(dòng)駕駛解決方案，純視覺(jué)解決方案——通過(guò)對海量的視覺(jué)數據進(jìn)行訓練并學(xué)習——具有強大的適用性和競爭力，這就讓3D雙目立體視覺(jué)方案找到了發(fā)力點(diǎn)。
但是，要實(shí)現這個(gè)目標，就需要終端芯片擁有更強大的AI算力，這也將是銀牛未來(lái)重點(diǎn)發(fā)展的技術(shù)方向之一。
如文章開(kāi)頭所說(shuō)，3D立體視覺(jué)有幾種不同的技術(shù)方向，但在白逸看來(lái)，以雙目立體視覺(jué)為核心的多傳感器融合方案將會(huì )是最有競爭力的答案。以單純ToF技術(shù)為例，歸根到底這就不是一個(gè)視覺(jué)感知方案，而是通過(guò)計算飛行時(shí)間來(lái)實(shí)現的，高度依賴(lài)定制器件，這就意味著(zhù)如果要增大對感知目標深度圖像的刷新率和分辨率要求，就要加大投入去定制傳感器和投射儀，這都是昂貴的系統成本，從而導致可能無(wú)法快速大規模商用。
“我們芯片的多傳感器融合技術(shù)和異構解決方案，擁有很大的發(fā)展潛力”，白逸說(shuō)。
