发布日期：2025-11-13 08:09    点击次数：53

henry 发自 凹非寺开云体育

量子位 | 公众号 QbitAI

作念灵巧手要是不会用器用，跟咸鱼（夹爪）有什么永诀？

别急，能拧螺丝、抡锤子，玩“转”各样器用的灵巧手，这就来了。

上头这位拧螺丝的“敦厚傅”，出自星河通用最新推出的灵巧手神经能源学模子DexNDM。

在DexNDM的加持下，灵巧手达成了从能动到能用的飞跃，通过漫衍有偏的着实数据磨练，无需得胜示例，即可精确弥合Sim2Real领域，初次让通用灵巧手好像对多类物体达成自若、多姿态、多轴向的旋转操作。

跨物体精确操控：从渺小零件到大册本、长棍、复杂几何体，初次达成跨类别、跨尺寸、跨姿态的自若旋转。即兴姿态多轴旋转：无论手掌进取、朝下或侧向，均能沿即兴轴向进行自若、连接的旋转。高灵巧高鲁棒遥操作：可自若地抓、转、拧各样器用，胜任拧螺丝、产物拼装等长程、复杂操作任务。弥合Sim2Real的领域：无需得胜操作数据，仅凭漫衍有偏的着实数据即可完成高精度学习，克服灵巧操作Sim2Real的差距，达成了“从0到1”的冲破。

这下，离活水线和厨房里的灵巧机器东谈主，真不远了！

手内操作的通用计谋

如上所述，DexNDM的中枢冲破在于初次在着实寰球中冲破了手掌即兴朝向的物体旋转驱散，达成了跨物体、跨姿态的自若手内旋转(In-Hand Rotation)与器用操作(Tool Use)。

具体来说，DexNDM能在极具挑战的手腕姿态下（如手掌朝下或侧向），达成长物体沿长边的一语气旋转，以及小物体在多种转轴下的自若旋转。

在操作对象上，DexNDM能处理从微型到细长、直爽单几何到复杂结构的多种物体。

那么，这是怎么作念到的呢？

这里的关键在于DexNDM的重要级神经能源学模子（ JOINT-WISE NEURAL DYNAMICS MODEL）。

不同于以往整手建模的神情，DexNDM将复杂的手–物交互拆解到重要级，让每个重要孤立猜想自身的下一情状，完成整手的领会猜想。

这种瓦解不仅显耀提高了数据应用效果，还能增强模子在不同物体、姿态下的泛化才智。

为了学习到具有细腻泛化性的能源学模子，团队建立了一套全自动数据收罗计谋。

在职务无关的就地扰动下，机器东谈主能自主生成丰富的商业数据，无用东谈主工重置，也不会时常“翻车”。

这么，模子不错在低价、可扩张的数据上学习到敷裕丰富的交互能源学。

基于此，谈论者进一步磨练了一个残差计谋积累，用于弥合仿真到现实的差距，使仿真中学到的基础计谋好像顺利转移到着实寰球。

在计谋学习上，DexNDM接收了“从大家到通才（expert-to-generalist）”的磨练经过：

先针对不同长宽比与几何复杂度的物体磨练多个大家计谋，再将它们会通索求为一个长入的通用计谋，从而达成跨任务、跨形态的自若操作。

仿真与着实环境的测试标明，DexNDM的操作纯真性、鲁棒性与泛化才智都得到了显耀提高：

不仅初次在手掌朝下的姿态下，达成了10–16cm长物体沿长轴的空中完整旋转，还好像自若泛化到更多、更具挑战性的物体类型。

此外，谈论还将这套通用旋转计谋算作底层手段接入遥操作系统。

操作家只需通过VR适度器给出臂端位姿或旋转轴等高层请示，DexNDM即可自主完成手指层面的玄虚适度。

这种神情克服了传统遥操作在玄虚操作中的根柢难题——东谈主手与机械手在解放度、传感和能源学上的不匹配。

借助DexNDM，机器东谈主不仅能“抓得稳、放得准”，还能完成复杂的、波及旋转的手—物—物交互，达成器用使用与长程安设等对系统鲁棒性要求极高的任务，信得过迈向“能转能用”的灵巧操作。

直爽单抓取到玄虚操作

值得一提的是，DexNDM处理的是机器东谈主谈论中最具挑战性的手内操作中的关键问题——手内旋转（in-hand rotation）。

这一冲破之是以酷爱紧要，是因为它径直激动了机器东谈主直爽单才智向玄虚操作才智的超越。

举座来看，机器东谈主的才智毛糙可分为领会才智与操作才智两类。

领会才智，是咱们熟练的“跑”“跳”“翻”——以及保持全身自若的whole-body control。

如今，机器东谈主不再需要被绳索吊着防摔，致使在东谈主为搅扰下仍能稳住体态，多样翻跟头、舞蹈的demo展示亦然无独有偶。

而站稳之后，思让机器东谈主信得过具备坐褥力，关键还在于——操作（manipulation）。

所谓操作，即是机器东谈主信得过“来源干活”的才智，它包括：

抓取：改换物体相干于机器东谈主本质的位置，如提起/放下物体。环境赞助操作：借助外界完成任务，如桌子，平台等。柔性物体操作：处理衣物、绳索、液体等。手内操作：在不借助外部环境或撑持的情况下，仅通过机械手的手指领会和挪动抓取姿势来改换物体在手掌中的位置和姿态，如DexNDM对应的手内旋转。器用操作：波及与环境或另一个物体连接、利害的物理商业，平常用于完成特定的玄虚任务。

诚然现在大部分的结尾奉行器都能很好地完成抓取任务，但简便抓取的应用领域相配有限，主要鸠合在险阻料、分拣等场景，远未触及信得过的工业级坐褥力。

因此，灵巧操作必须从“能抓能放”迈向“能转能用”，以达成更复杂、更玄虚的动作。

干系词，这恰正是机器东谈主谈论中最难啃的骨头。

机器东谈主前驱Rodney Brooks曾说：

灵巧操作是通用机器东谈主部署中最沉重的前沿。

原因很简便，灵巧手虽带来了比夹爪更高的解放度，但也带来了成倍的适度难度。

马斯克曾经赞誉：

东谈主类的手极其精密复杂……它不错挥棒、穿针、弹琴，也能拆车装车。若要造出信得过通用的东谈主形机器东谈主，必须先处理手的问题。

不错说，思达成信得过通用的灵巧操作，就必须攻克灵巧手的玄虚操作。

其中，手内旋转和器用使用才智正成为学界谈论的焦点，代表了灵巧操作向更高维度发展的趋势。

前者让机器东谈主能纯真挪动抓取姿态，使操作更顺遂，后者则让机器东谈主信得过能“干活”，拧螺丝、砸钉子、切割、拼装。

但这两项才智，也正是难度的巅峰。它们波及复杂且快速变化的手–物商业和手–物–物交互，是灵巧操作金冠上的明珠。

而DexNDM的冲破，就在于此。它同期攻克了“旋转”和“使用”这两浩劫题：既能达成高精度的手内旋转，也能纯真处理多种器用的操作任务。

更穷苦的是，只须当机器东谈主能可靠地完成这类操作，说话、视觉等高层智能筹谋，才智信得过落地为具体的动作与奉行。

这正是通用机器东谈主与具身智能落地的关键瓶颈。

不外，要作念到这极少，并欺压易。

通用的手内旋转计谋

直不雅地看，在拧螺丝这么的场景中，灵巧手无法像手掌进取时那样依赖重力来自若物体。

为了不让螺丝刀滑落，模子必须精确适度更多的解放度，达成对姿态、力和商业的互助适度。

昔时的手内操作步调大多只可处理特定物体或固定姿态，依赖上流或定制化硬件，难以推行到更通用的场景。

其根源在于灵巧抄本人的高解放度（东谈主手有21个解放度，加上手腕就有27个解放度）与复杂耦合：重要彼此影响，手与物体之间的商业不休变化，建模极其困难。

再加上奉行过程中存在自遮挡、传感不皆备等问题，模子频频无法准确捕捉这些奥密的能源学细节。

更毒手的是，仿真与现实之间的能源学差距依旧纷乱。好多计谋在仿真环境下发挥完整，一朝参加现实就“翻车”。而思依靠着实数据修正，又要承担快活的采集资本和失败风险。

举例，CMU与Meta在《Science Robotics》封面论文 “NeuralFeels with Neural Fields” 中引入视觉-触觉会通模子，以弥补纯视觉感知的不及，但照旧难以超越Sim-to-Real的领域。

ICRA 2023的BACH (Belt-Augmented Compliant Hand) 则通过皮带增强的柔性机械手达成了手腕向下的旋转操作，但这种畸形结构难以转移，也带来了迥殊的硬件资本。

访佛地，DexCtrl在旋转轴通用性上取得进展，却仍受限于物体复杂度。

而DexGen虽能奉行拧螺丝任务，却空乏对筹商物体领会的精确适度。

在这些步调中，咱们不错窥见，现时的手内操作步调频频局限于特定场景（如固定手腕朝向）、只可处理有限辘集的惯例物体，或依赖上流、定制化硬件。即便在单一维度（如旋转轴）上达成了通用性，仍难以在多维操作中保持自若发挥。

在这么的配景下，DexNDM达成了实质性飞跃——初次构建了好像跨物体类别、跨姿态任务的通用手内操作计谋。

它不仅为遥操作系统的数据生成与计谋转移提供了坚实基础，也为灵巧操作的工业化落地奠定了要求：样本效果更高、泛化性更强、才智可复用，为具身智能谈论提供了新的底层基础要领。

同期，遥操应用也可进一步扩张至粗糙的任务类型，协助获得各样任务所需的操作数据。

坐褥力即产品

DexNDM的酷爱不仅在于一个新的模子，更在于它激动了灵巧操作这一“金冠上的明珠”从学术谈论走向了可复用的坐褥力基础要领。

从滥觞的搬箱、险阻料，到如今能拧螺丝、砸钉子、安设产物、使用器用，灵巧操作正逐渐从机械叠加处事者，进化为信得过具备操作灵敏的“坐褥力单位”。

借助这一底层才智，机器东谈主不再局限于演示性的“抓取扬弃”，而能在工业安设、产物拼装、器用使用等多场景中达成可扩张部署，连接提高践诺坐褥力。

在典型的安设任务中，这一“精通活的机器东谈主”的雏形已初现条理：

第一步，灵巧手使用螺丝刀，将电路板中枢部件固定。

它能在手内微调螺丝刀的姿态，使其在最顺遂的角度下施力；瞄准M2渺小螺丝孔后，精确施压旋入，既不打滑也不损板。

第二步，安装音量旋钮。

五指协同稳执木质旋钮，挪动内螺纹与轴心对位后，完成大角度旋转——就像拧紧瓶盖那样畅通。

第三步，安装讳饰性部件。

灵巧手先夹持铆钉定位，再旋转挪动小锤的执姿，轻敲入位，力量精确、节律分明。

这三步展示了从手内旋转到多指互助、从静态操作到动态敲击的全链路灵巧适度，也符号着灵巧操作正在从“抓取”走向“使用器用”，从“叠加动作”迈向“任务理会”，成为信得过的坐褥力。

正如星河通用机器东谈主独创东谈主、CTO王鹤所说：

要是大模子建议的是智能即产品，那么具身智能建议的即是坐褥力即产品。

临了，让咱们回到开头的问题：灵巧手和夹爪的永诀是什么？

——坐褥力。

论文联结：https://arxiv.org/abs/2510.08556

时势网站：https://meowuu7.github.io/DexNDM/开云体育