多模態感知+強推理規劃
賦能工業場景規模化應用
在智能化浪潮席卷全球的當下，人形機器人的規劃能力已成為關鍵競爭維度之一。傳統機器人系統依賴預設指令執行任務，難以應對高度動態、多變的現實場景。而本次三大基準測試的核心，正是針對人形機器人在復雜環境中的多模態感知和推理規劃能力進行系統化驗證。
MS COCO detection challenge由微軟發起，是計算機視覺領域的權威評測基準之一，在全球學術界與工業界享有極高認可度，常年被眾多頂尖論文與技術報告用作感知算法性能的衡量標準。
RoboVQA和Egoplan-bench2則分別由谷歌DeepMind和香港大學提出，致力于構建機器人第一視角推理與任務規劃的公開標準基準測試，重點關注多模態、長周期任務規劃能力。參與排名的模型包括北京智源、英偉達ThinkAct、Cosmos-reason1、GPT-4V、Qwen2.5-vl等。
優必選Thinker在MS COCO detection challenge - Segmentation Mask中排名第一
優必選Thinker在MS COCO detection challenge - Bounding Box排名中并列第一
優必選Thinker在RoboVQA與Egoplan-bench2中排名第一
這一成績的背后，是優必選自主研發的Thinker架構與訓練框架所提供的技術支撐，通過多項關鍵技術創新性整合，系統化提升了人形機器人的感知與推理規劃能力，為工業場景的規模化應用奠定基礎。
prompt: "Move the material box to the conveyor belt."
Thinker: "First locate the conveyor belt, then place the material box."
Walker S2在工業場景中自主完成上料
第一，自研視覺編碼器基座，構建精準環境感知。優必選以ViT作為視覺編碼器原型，結合Co-DETR檢測頭，依托Object 365等開源數據在通用視覺任務上進行預訓練，并通過多階段模態對齊機制實現了視覺-語言模態的高效融合。最終，在優必選機器人數據集上進行微調，顯著提升機器人在工業場景中對物體、障礙和操作上下文的識別能力，為復雜環境下穩定可靠的多模態環境感知奠定了堅實基礎。
第二，超大規模參數架構，提供強大語義理解基礎。優必選自研了具有百億參數的多模態大模型Thinker基座，實現視覺-語言-時間的跨域統一表征，使機器人能夠在多場景中準確捕捉環境細節、理解任務指令并做出推理，為自動化操作提供可靠的認知基礎。
第三，時序增強算法與強化學習方法，增強長程任務規劃連貫可靠。通過大模型蒸餾技術，將百億參數模型效果濃縮至7B參數模型中，在保持高性能的同時增強多步驟任務分解與連續決策能力。該優化使模型可以在端側部署，用機器人自身搭載的算力就可實時自主拆解復雜流程，避免規劃中斷或邏輯混亂，在流程嚴格、環環相扣的工業場景中展現出關鍵價值，將有力保障生產連貫性和操作安全性。
通用基礎能力打造+工業場景精調
共創工業人形機器人應用生態
工業場景的精調策略正成為推動多模態大模型邁向實際應用的關鍵力量，為人形機器人在生產線上的穩定、高效部署奠定了技術基礎，加速其從技術驗證走向規模化實戰應用的進程。
優必選創新性地采用“通用基礎能力打造+工業場景精調”的微調策略，基于超200萬條視頻數據構成的大規模訓練集進行預訓練，隨后引入優必選在工廠實訓中積累的億級工業數據集進行微調，并對工業場景任務規劃數據加以清洗與整合，構建高效多模態大模型學習閉環。通過這一流程，模型能夠快速學習工業場景的視覺特征、任務規則與操作偏好，最終顯著提升人形機器人在工業場景中的理解準確率、規劃適配性與決策可靠性，實現在多種復雜場景中的泛化性與穩定性。
prompt: "Move the material box onto the pile of boxes next to it."
Thinker: "The middle slot is the best one for the material box."
Walker S2在工業場景中自主規劃任務
在Thinker大模型技術體系的全方位賦能下，優必選新一代工業人形機器人Walker S2 實現“最強大腦”再進化，不僅具備高精準環境感知能力，更能夠在動態場景中高效完成任務分解、實時調整與穩定規劃。借助Thinker，Walker S2可精準識別設備、物料與障礙物，深度理解場景語義及操作前后邏輯關聯，顯著提升長周期任務的執行穩定性。在復雜流水線環境中，機器人展現出持續連貫的規劃能力，大幅降低對人工干預的依賴。
實際應用數據顯示，相比僅基于通用數據微調的模型，采用工業數據集進行二次微調后，Walker S2在拆碼垛規劃等典型任務的中的規劃精度提升超過 20%，有力驗證了該技術方案的產業化價值，相關技術報告將在arxiv上發布。
prompt: “Move the material box onto the roller rack.”
Thinker: “First locate the roller rack and then place material box.”
Walker S2在工業場景中自主規劃任務
當前，人形機器人正在進入大規模應用的關鍵階段，其發展亟需與開發者共同構建開放、協同的應用生態。為此，優必選將逐步開源一系列業界稀缺的工業場景數據集與通用基礎大模型，為全行業提供源自實際應用一線的高質量合規數據資源。開發者可基于優必選多模態大模型Thinker，面向各類新場景開展精調與二次開發，助力提升開發效率。我們期待與全球開發者攜手，共創工業人形機器人的應用生態，為具身智能行業的加速發展注入持續動能。
