近年來視覺語⾔基礎模型（Vision  Language  Models,  VLMs）在多模態理解和⾼層次常識推理上⼤放異彩，如何將其應⽤于機器⼈以實現通⽤操作是具身智能L域的⼀個核⼼問題。這⼀⽬標的實現受兩⼤關鍵挑戰制約：

1. VLM 缺少準確的 3D 理解能⼒：通過對⽐學習范式訓練、僅以 2D 圖像 / ⽂本作為輸⼊的 VLM 的天然局限；

2. ⽆法輸出低層次動作：將 VLM 在機器⼈數據上進⾏微調以得到視覺 - 語⾔ - 動作（VLA）模型是⼀種有前景的解決⽅案，但⽬前仍受到數據收集成本和泛化能⼒的限制。

針對上述難題，北⼤攜⼿智元機器⼈團隊提出了 OmniManip 架構，基于以對象為中⼼的 3D 交互基元，將 VLM 的G層次推理能力轉化為機器⼈的低層次G精度動作。

針對⼤模型幻覺問題和真實環境操作的不確定性，OmniManip 創新性地引⼊了 VLM 規劃和機器⼈執⾏的雙閉環系統設計，實現了操作性能的顯著突破。

實驗結果表明，OmniManip 作為⼀種免訓練的開放詞匯操作⽅法，在各種機器⼈操作任務中具備強⼤的零樣本泛化能⼒。

OmniManip 的關鍵設計包括：

基于 VLM 的任務解析：利⽤ VLM 強⼤的常識推理能⼒，將任務分解為多個結構化階段（Stages），每個階段明確指定了主動物體（Active）、被動物體（Passive）和動作類型（Action）。

以物體為中⼼的交互基元作為空間約束：通過 3D 基座模型⽣成任務相關物體的 3D 模型和規范化空間（canonical space），使 VLM 能夠直接在該空間中采樣 3D 交互基元，作為 Action 的空間約束，從⽽優化求解出 Active 物體在 Passive 物體規范坐標系下的⽬標交互姿態。

閉環 VLM 規劃：將⽬標交互姿態下的 Active/Passive 物體渲染成圖像，由 VLM 評估與重采樣，實現 VLM 對⾃身規劃結果的閉環調整。

閉環機器⼈執⾏：通過物體 6D 姿態跟蹤器實時更新 Active/Passive 物體的位姿，轉換為機械臂末端執⾏器的操作軌跡，實現閉環執⾏。

物體的交互基元通過其在標準空間中的交互點和⽅向來表征。交互點 p∈R3 表示物體上關鍵的交互位置，⽽交互⽅向 v∈R3 代表與任務相關的主要軸。這兩者共同構成交互基元 O={p,v}，封裝了滿⾜任務約束所需的基本⼏何和功能屬性。這些標準交互基元相對于其標準空間定義，能夠在不同場景中保持⼀致，實現更通⽤和可重⽤的操作策略。

對于通⽤物體的交互點提取，OmniManip 利⽤視覺語⾔模型（VLM）在原圖（當部件可⻅且實體存在時）或在正交視圖中渲染的 3D ⽹格（當部件不可⻅或實體不存在時）上進⾏定位。

與 CoPa 和 ReKep 等⽅法不同，OmniManip 直接讓 VLM 進⾏ grounding，不會受限于不穩定的 part 分割或聚類結果。

在交互⽅向的采樣⽅⾯，由于物體的規范化空間通過 Omni6DPose 錨定，軸的⽅向與語義對⻬，該團隊讓 VLM 直接對物體標準空間的軸進⾏語義描述，并根據操作任務進⾏匹配度排序，以獲得交互⽅向的候選。

雙閉環系統設計

李⻜⻜團隊的⼯作 ReKep 通過關鍵點跟蹤巧妙地實現了機械臂的閉環執⾏，但其 VLM 規劃過程是開環的。OmniManip 則更進⼀步，得益于以物體為中⼼的設計理念，⾸次在 VLM 規劃和機械臂執⾏層⾯實現了雙閉環系統：

閉環規劃：在實驗中，VLM 推理很容易出現幻覺，導致錯誤的規劃結果（尤其是在涉及 3D 旋轉的任務中，如倒⽔、插筆）。OmniManip 賦予 VLM 閉環規劃能⼒，通過渲染物體的三維模型，幫助 VLM 「腦補」出規劃結果后的物體樣貌，再判斷其合理性。

這⼀功能賦予了 VLM 空間反思能⼒，使其能夠在測試時進⾏推理，類似于 OpenAI 的 O1，⼤⼤提⾼了操作成功率。為了保持框架的簡潔性，研究團隊沒有設計復雜的測試時推理流程，僅作⼀輪校驗就已明顯提⾼了 VLM 的規劃準確率。

閉環執⾏：OmniManip 提取的交互基元位于物體的規范空間中，只需引⼊⼀個 6D 位姿跟蹤器即可輕松實現閉環操作。與 ReKep 使⽤的關鍵點跟蹤器相⽐，基于物體的 6D 位姿跟蹤⽅式更為穩定，并對遮擋具有更強的魯棒性。（缺點則是不如關鍵點靈活、⽆法建模柔性物體操作。）

▍實驗結果

強⼤的開放詞匯操作性能

在 12 個真機短程任務上，OmniManip 均展現出出色的性能。

雙閉環系統設計為 OmniManip 帶來了約 17% 的性能提升，這證明了 RRC 在有效減少⼤模型幻覺影響⽅⾯的作⽤。

交互基元的魯棒性

VLM 需要基于交互基元對機器⼈操作進⾏規劃，如果交互基元本身存在問題，VLM 就會陷⼊「巧婦難為⽆⽶之炊」的困境。因此，可靠的交互基元⾄關重要。以往的⽅法通常是讓 VLM 直接在相機拍攝的 2D 圖像上采樣交互基元，然后通過相機的內外參數轉換到 3D 空間。

然⽽，由于 2D 圖像存在空間歧義，采樣效果對相機視⻆、圖像紋理和部件形狀等因素J為敏感（例如，當相機平視杯⼦時，之前的⽅法只能對準杯⼦的側壁、⽽不是開⼝）。⽽ OmniManip 則是在物體的 3D 規范空間中進⾏采樣，能夠輕松克服 2D 圖像的局限性，實現可靠的 3D 交互基元提取。

強⼤的拓展性與潛⼒

OmniManip 能夠與 high-level 任務規劃器結合，實現⻓程任務操作

作為⼀種以物體為中⼼的算法，OmniManip 與機械臂本體解耦，能夠零成本遷移⾄不同形態的本體（例如雙臂⼈形機器⼈）。

OmniManip 具有強⼤的通⽤泛化能⼒，不受特定場景和物體限制。團隊已將其應⽤于數字資產⾃動標注 / 合成管道，實現⼤規模的機器⼈軌跡⾃動采集。