隨著(zhù)智能制造的不斷升級和落地，工廠(chǎng)內的智能搬運和智能物流也越來(lái)越被關(guān)注，將AI技術(shù)引入到機器人和 AMR 部署的工廠(chǎng)內各種場(chǎng)景逐步成為新趨勢?，F階段如何將視覺(jué)技術(shù)更方便、實(shí)用、安全、穩定地部署到應用中，將成為 AI 結合機器人應用的關(guān)鍵點(diǎn)。而仙工智能（SEER）全感知 AI 物流系統 RoboView 在解決這些關(guān)鍵點(diǎn)，具有自己的“見(jiàn)解”。
全感知 AI 物流系統 RoboView 的視覺(jué)應用
由于工業(yè)場(chǎng)景的復雜性，將前沿的視覺(jué)技術(shù)引入作業(yè)場(chǎng)景中并非易事，最關(guān)鍵的一點(diǎn)是如何將前沿的視覺(jué)技術(shù)方便地落實(shí)到實(shí)際應用中，并讓客戶(hù)快速掌握使用技能。尤其是在 3D 視覺(jué)應用中，要求精準定位并評估 3D 場(chǎng)景下的物體，但現階段因較高的研發(fā)和部署難度，它的應用往往不如 2D 技術(shù)普遍，可隨著(zhù)科技技術(shù)的發(fā)展，3D 技術(shù)終將成為未來(lái)的趨勢，得到更多的應用。如下圖 RoboView 在一個(gè)典型的3D應用中的流程。
3D視覺(jué)在3D抓取任務(wù)中，需要識別目標的位姿
比如說(shuō)，在A(yíng)GV物流倉儲中，為了對貨物進(jìn)行有效的管理，需要借助3D視覺(jué)技術(shù)來(lái)完成搬運、堆疊任務(wù)，但由于實(shí)際工廠(chǎng)環(huán)境差異大(光照條件差異)，場(chǎng)景變化多，貨物本身的尺寸差異大(從幾百到幾千毫米)以及對搬運、堆疊任務(wù)的精度要求差異大(毫米級到厘米級)等原因，便需針對具體的客戶(hù)場(chǎng)景制定相對應的方案，這給研發(fā)和部署都帶來(lái)較大難度。
為使這類(lèi)應用的部署更簡(jiǎn)單、高效，仙工智能（SEER）將自己開(kāi)發(fā)的視覺(jué)算法庫、相機庫和機器人庫融合到一整個(gè)視覺(jué)應用平臺中，這樣在部署時(shí)即可靈活地選擇與應用相對應的相機和方案。比如，從十幾家廠(chǎng)家中的上百種甚至更多種類(lèi)中選擇真正符合應用的相機，并直接選擇對應的算法和機器人，真正做到“量體裁衣”。
這個(gè)視覺(jué)應用平臺就是仙工智能（SEER）全感知 AI 物流系統 RoboView，在其強大的算法能力支撐下，通過(guò)一鍵部署，不僅可降低成本，還極大提高了部署效率。
RoboView 應用庫
我們都知道，視覺(jué)技術(shù)的出現就是為了解決實(shí)際問(wèn)題而存在。就目前的車(chē)間或工廠(chǎng)而言，遇到最大的問(wèn)題是庫位管理效率低，而 RoboView 能夠將庫位管理更“智慧”地融合到系統中，比如 AGV 的調度系統等，不僅使自動(dòng)化物流系統更流程化，還降低了管理成本，提高了管理效率。
實(shí)際上，RoboView 實(shí)現的庫位管理系統，只需要在需要進(jìn)行庫位管理的倉庫里部署幾臺相機和一臺視覺(jué)服務(wù)器并運行 RoboView，即可完成庫位管理。此時(shí) RoboView 將負責庫位管理的全部任務(wù)，并和調度系統對接，在“悄無(wú)聲息”間完成庫位管理任務(wù)，如庫滿(mǎn)/空、出/入庫、錯誤入庫及其他豐富的管理能力。
RoboView 實(shí)現的庫位管理系統示意圖
另外，在一些密集倉儲的區域，即使在自動(dòng)叉車(chē)上安裝再多的傳感器也無(wú)法避免一些危險情形，比如下圖的情形：
密集倉儲的區域，可能遇到的一些危險情形
由上圖可以看到，在人員和自動(dòng)叉車(chē)、AMR混用的場(chǎng)景中，在一些現場(chǎng)的設備、人員、貨物統一管理的難題，RoboView 便可為客戶(hù)解決這些難題。更多詳情邀您親臨 2021 ITES 深圳工業(yè)展 21-H41 展位，文末免費索票，輕松參展。
全感知 AI 物流系統 RoboView 的誕生
RoboView 的靈感來(lái)源于 RoboCup 小型組足球機器人比賽，作為 RoboCup 中最強調團隊協(xié)作和對抗的組別，小型組采用了外部的視覺(jué)服務(wù)作為了機器人位置的主要感知方式，其典型場(chǎng)景如下：
RoboCup 小型組足球機器人位置的主要感知方式示意圖
通過(guò)外部視覺(jué)感知和統一的大腦對場(chǎng)景內的機器人進(jìn)行統一管理，從而實(shí)現各種復雜的協(xié)作與對抗。
世界小型機器人足球比賽 Robocup 比賽現場(chǎng)
由此出發(fā)，仙工智能（SEER）在基于 SLAM 導航的體系外，創(chuàng )新性地提出全感知 AI 物流系統 RoboView。
1、RoboView 架構
RoboView 由感知平臺和感知節點(diǎn)共同構成，其中感知平臺作為系統的核心是提供所有的視覺(jué)服務(wù)、為智能工廠(chǎng)及物流系統提供必要信息（包括庫位管理信息、車(chē)隊跟蹤信息、設備運行狀態(tài)等）、小車(chē)作業(yè)視覺(jué)服務(wù)請求響應、系統安全監控信息等四大部分；感知節點(diǎn)包括固定或移動(dòng)式的圖像（2D）/點(diǎn)云（3D）采集設備及編組。
感知平臺為獨立運行的視覺(jué)服務(wù)器，其主要提供視覺(jué) AI 感知能力，通過(guò) 2D/3D 視覺(jué)的技術(shù)實(shí)現對感知區域內的目標進(jìn)行識別、定位和檢測。感知平臺只需要一份輸入，以及一個(gè)輸出定義（DOO, Definition Of Output），即可完成一次感知服務(wù)，因此它是多任務(wù)的，相互獨立的信息感知平臺。
感知節點(diǎn)是分布式部署的，分為固定節點(diǎn)和移動(dòng)節點(diǎn)。固定節點(diǎn)是指固定安裝的圖像（2D）/點(diǎn)云（3D）采集設備，如普通的監控攝像頭、ToF 相機、3D 激光雷達等都可以作為感知節點(diǎn)接入；移動(dòng)節點(diǎn)指這些安裝在移動(dòng)機器人上的各類(lèi)視覺(jué)圖像（2D）/點(diǎn)云（3D）采集設備，通過(guò)仙工智能（SEER）的 SRC 核心控制器可以實(shí)現與 RoboView 的無(wú)縫對接。
感知節點(diǎn)可以通過(guò) Roboshop 一站式布署軟件加入 SLAM 地圖中，并配置相應的工作流，從而實(shí)現節點(diǎn)的快速設置布署。同時(shí)，全感知 AI 物流系統 RoboView 與仙工智能企業(yè)數字化中臺 SEED 配合，可以實(shí)現對場(chǎng)所內的各個(gè)系統的部署、規劃和監控，并實(shí)現對 AMR 及無(wú)人叉車(chē)的安全監控及作業(yè)規劃。
仙工智能（SEER）全感知物流系統解決方案
2、AI 全感知技術(shù)
AI 全感知平臺融合了多項關(guān)鍵技術(shù)，為物流管理系統提供了豐富的信息。
【增強顯示】通過(guò)數個(gè)固定感知節點(diǎn)全方位“觀(guān)察”，結合多點(diǎn)視覺(jué)的配準、拼接、融合技術(shù)，將整個(gè)倉庫的實(shí)時(shí)狀態(tài)盡收眼底，在原有監控視頻的基礎上加入了 AR 增強信息，讓現場(chǎng)人員對設備狀態(tài)更加直觀(guān)清晰。
【車(chē)輛監控】結合車(chē)輛自身信息，對場(chǎng)景內的每一輛 AMR 及自動(dòng)叉車(chē)進(jìn)行實(shí)時(shí)定位和追蹤，捕獲并預測車(chē)輛的運行軌跡，結合仙工智能企業(yè)數字化中臺 SEED，對偏離作業(yè)任務(wù)的車(chē)輛及時(shí)發(fā)出調整指令并向平臺發(fā)出警告。
【目標識別定位】RoboView 不僅僅包含常規的視覺(jué)感知算法，還包含了先進(jìn)的深度學(xué)習算法，大大地提高了系統的抗干擾性。目標檢測技術(shù)，能夠實(shí)時(shí)從視頻流中檢測出目標物體，如小車(chē)或人；3D 點(diǎn)云的分割技術(shù)，能夠直接從點(diǎn)云中提取目標物體，并給出尺寸、位置等重要信息，使算法更加穩定、可靠。另外，通過(guò)圖像語(yǔ)義分割技術(shù)，還可以為倉庫的管制標記、道路標識和作業(yè)車(chē)等進(jìn)行一次性分割、提取，為控制平臺提供了另一項重要信息。
【庫位管理】通過(guò)部署在場(chǎng)景中的多臺固定感知節點(diǎn)，感知平臺能夠實(shí)時(shí)獲取場(chǎng)景里的所有庫位信息，并通過(guò) 2D 識別技術(shù)，識別&定位出庫位的有效信息，包括但不限于有無(wú)貨物、有無(wú)小車(chē)、有無(wú)異物侵入等信息，并將這些信息發(fā)布出去（根據物流系統的配置，可能發(fā)送給物流系統和小車(chē)），物流系統或小車(chē)能夠根據這些信息做有效的決策，大大提升了倉庫管理效率。
【安全監控】主要涉及場(chǎng)景內的所有狀態(tài)實(shí)時(shí)監控，其內容包括：外來(lái)異物（非作業(yè)人員、作業(yè)人員進(jìn)入非安全區域、小車(chē)脫離預設任務(wù)軌跡、非作業(yè)小車(chē)等）侵入監控、貨物狀態(tài)監控、小車(chē)路線(xiàn)障礙物檢測、其他聯(lián)動(dòng)設備的監控（如大型貨架，升降電梯等）。
