一个人在厨房台面上拧开果酱罐的动作，在计算机视觉工程师眼里是一组可以被标注、被裁剪、被喂入模型的视频帧序列，而在一名工业设计师眼里，这是一个完整的情境叙事：台面上散落的早餐餐具说明这是早晨，左手扶住瓶身的力度暗示盖子可能较紧，操作者微微侧身的姿态受制于台面与橱柜之间的通行宽度，而盖子最终松开的那一瞬间，操作者拇指的位置变化标志着一个交互节点的完成。机器人若只学手部轨迹而不理解这些情境要素，它学到的不过是一个脱离土壤的动作标本。这正是IJCAI 2026上关于人类视频赋能机器人学习的讨论令我深感兴趣的原因——当技术圈在争论哪条路线更优的时候，一个更根本的设计问题被悬置了：机器人究竟需要从人类视频中学什么，以及，这些视频中真正值得学习的东西，是否恰好是当前技术框架最容易忽略的部分。

我从事工业设计与用户研究多年，在无锡这片制造业底蕴深厚的土地上，见证过太多产品从功能原型走向量产的全过程。江苏创品工业设计团队在长期实践中形成了一个基本信念：好的设计不是对功能的包装，而是对使用情境的深刻回应。这一信念放到机器人学习领域同样成立，甚至更为迫切。因为机器人面对的不是静态的产品使用场景，而是动态的、充满不确定性的物理世界。它需要理解的不只是"手怎么动"，更是"在什么条件下、为了什么目的、以什么方式与环境互动"。人类视频恰恰是这种情境信息最丰富的载体，问题在于，我们是否准备好了以设计的眼光去读取它。

人类视频之于机器人学习的价值，首先要从机器人训练数据的根本困境说起。目前主流的机器人训练范式高度依赖真机数据采集，每一条训练样本都需要物理机器人在真实环境中执行一次操作。这意味着巨大的时间成本、硬件损耗和场景局限性。一台机器人在实验室里抓取了十万次杯子，它学到的可能只是实验室灯光下、特定桌面上、特定型号杯子的抓取策略。一旦换到普通家庭的厨房，台面反光、杯子位置偏移、旁边有其他杂物，策略就可能失效。真机数据的另一重困境在于强耦合特定硬件——为A机型采集的数据几乎无法直接迁移到B机型，因为机械臂自由度、夹爪结构、传感器配置各不相同。这就好比你为右手设计了一套操作教程，却要求左手完全照搬，关节活动范围和力度都不一样，效果可想而知。

人类视频则提供了一个截然不同的数据生态。HowTo100M数据集包含1.36亿个教学视频片段，Ego4D收集了3600小时的第一视角日常生活记录。这些数据的规模是真机采集难以企及的，而且成本几乎可以忽略不计——视频已经存在于互联网上，场景覆盖从厨房到车间、从办公室到户外的广阔光谱。但规模和多样性并不等于可用性。当研究者试图将这些视频转化为机器人可学习的信号时，立刻遭遇了三重不兼容：视频中没有动作标签，你知道画面里的人在切菜，但无法直接提取出"切"这个动作对应的控制指令；视频没有本体感知信息，你看不到操作者关节施加了多大的力矩、手指接触物体时的压力分布；更根本的是，人手有二十多个自由度，运动模式与典型的机器人夹爪或机械臂控制接口之间存在结构性鸿沟。这三重不兼容构成了所谓"表征桥梁"问题的核心，也是当前四条主要技术路线分野的起点。

第一条路线是潜在动作方法，以ICLR 2025发表的LAPA为代表。其基本思路是不追求显式地定义动作是什么，而是让模型在潜在空间中自己发现视频帧之间的变换规律。这在工程上有其优雅之处——你不需要设计复杂的标注体系，模型自动学习一种"动作编码"。但从设计视角看，这种方法的致命问题在于解释性的缺失。设计师在做用户研究时，最忌讳的就是只看到行为的输入输出而不理解中间的意图逻辑。如果机器人学到的潜在动作是一个黑箱，我们就无法判断它究竟是理解了"拧开"这个操作语义，还是仅仅匹配了某种视觉变化模式。在真实场景中，拧开罐头和拧开门把手的手部运动可能相似，但交互对象和结果完全不同，缺乏语义层面的解释，泛化就成了无本之木。

第二条路线是显式2D表征，包括手部关键点检测、物体边界框标注、特征点轨迹追踪和二维姿态估计。ATM、Magma以及Google的Gemini Robotics都在不同程度上采用了这类方法。显式2D的优势在于直观和数据获取相对容易，手部二十一个关键点的标注体系已经相当成熟。但这条路线的设计缺陷同样明显：二维投影丢失了深度信息，而物理交互本质上是三维的。当手握住杯子时，从正面视角看关键点可能重叠，模型无法判断手指究竟是在杯子正面还是背面；当物体被手部分遮挡时——这在操作任务中几乎是常态——二维检测器就会失效。我在做产品交互观察时经常提醒团队，用户与产品的接触从来不是一个平面上的事件，力度、角度、接触面积的三维分布决定了交互体验的品质。把三维交互压缩到二维，就像用建筑平面图来理解居住体验，信息是严重残缺的。

第三条路线是显式3D表征，核心工具是MANO手部模型。这个参数化模型可以从单目视频中估计出手部的三维姿态和形状，EgoVLA、H-RDT、Being-H0和微软亚研院的VITRA都采用了这一技术路径。据业内判断，三维手部姿态估计已经成为VLA（Vision-Language-Action）模型训练中近乎百分之百需要的辅助监督信号。这并不令人意外。从人因工程角度看，人手是人体最复杂的执行端，它的三维运动轨迹、关节角度变化和抓取姿态本身就携带着丰富的操作语义。当你看到一个人用拇指和食指捏起一枚回形针，三维姿态传递的不仅是"捏"这个动作类型，还有力度控制的精细程度、物体尺寸的隐含信息、操作所需的精度等级。VITRA选择聚焦人类传感器数据与灵巧手操作并将其开源，方向上是正确的——先把人类操作端的三维表征做扎实，机器人才有可映射的参照源。

第四条路线，也是目前最受关注的，是世界模型路径。字节跳动的GR-1和GR-2用3800万视频片段做预训练，试图让模型不仅理解当前画面，还能预测动作执行后的环境状态变化。在此基础上提出的WAM（World Action Model）范式，将世界理解与动作生成统一在一个框架内。世界模型之所以令人期待，是因为它触及了一个设计层面的核心问题：机器人需要的不只是模仿动作，而是理解动作与状态变化之间的因果关系。一个人在倒水，真正值得学习的不是手腕翻转的角度，而是"倾斜容器导致液体流出，流出量随角度和时间变化"这个物理因果链。只有理解了因果，机器人才能在不同的容器、不同的液体、不同的起始状态下灵活调整策略，而不是机械复现某个特定轨迹。但世界模型目前的困境也很现实：理论上的泛化优势尚未在实践中充分兑现，计算成本极高，而且视频数据中包含的物理信息（材质、重量、摩擦力）远比视觉信息难以提取。有研究者直言，效果与理论预期之间仍有不小差距。

在我看来，这四条路线并非简单的竞争关系，它们的本质差异只是监督信号加在了哪一层。潜在动作方法把监督信号放在隐空间，显式2D放在二维视觉特征层，显式3D放在三维几何层，世界模型则试图覆盖状态预测层。从场景设计的角度理解，这恰如设计师在分析一个使用场景时可以选择不同的抽象层级：你可以关注用户的手部动作细节，可以关注人与物体的空间关系，可以关注操作过程中物体状态的变化，也可以关注整个情境的因果逻辑。不同层级回答不同的设计问题，不存在单一正确答案，关键在于你要解决的具体问题是什么。这也引出了一个工业设计中反复出现的平衡命题：没有放之四海而皆准的方法论，只有针对具体约束的最优权衡。

冯志远在专访中的几个判断值得从设计视角做进一步解读。他认为人类视频不会取代机器人数据，两者是两阶段分工关系——人类视频负责预训练阶段的常识构建和表征学习，机器人数据负责微调阶段的硬件适配和精确认证。这个判断与产品开发中的一个常见模式高度吻合：用户研究提供的是对需求和情境的广泛理解，而原型测试提供的是对具体实现方案的精确验证。你不能跳过用户研究直接做原型，那样做出来的东西可能技术精湛但方向错误；你也不能只做用户研究不做原型，那样永远停留在概念层面无法落地。在江苏创品工业设计的项目实践中，我们始终坚持"广撒网、深聚焦"的研究策略：先通过大量场景观察建立设计直觉，再在具体方案上做精细化迭代。人类视频与机器人数据的关系，在方法论上是同构的。

冯志远指出的最大技术鸿沟——本体差异，即人手与机器人执行器之间的结构差异——是一个需要从两端同时求解的问题。一端是算法层面的映射，即如何将人手的二十多个自由度映射到机器人可能少得多的自由度上；另一端是硬件层面的适应，即通过灵巧手设计让这种映射变得更简单。冯志远提到，随着灵巧手自由度和柔顺性的提升，这个gap会逐步缩小。这从设计角度是一个非常深刻的洞察：技术瓶颈有时不是靠算法蛮力突破的，而是靠硬件设计创造了更好的映射条件。这让我想起人机工程学的一个经典原则——如果你发现使用者需要极度扭曲手腕才能完成操作，问题通常不在于使用者不够灵活，而在于你的工具设计得不好。对于机器人学习同样如此，如果人手到机器手的映射异常困难，也许应该反思的是机器人执行器的设计是否足够贴近人类操作的生物力学逻辑。

在路线选择上，冯志远最看好世界模型，但同时指出现阶段轨迹学习的收益高于物理规律学习。这个看似矛盾的判断其实蕴含着务实的技术节奏判断：长期方向是世界模型，因为它的泛化逻辑最完整；短期收益最大的是轨迹层面的模仿，因为物理规律的准确建模和提取目前还太难。这就好比在设计一款新产品时，你知道长期的目标是打造一个完整的生态系统，但短期内能交付用户价值的仍然是一个个具体功能点。平衡长期愿景与短期交付，是设计决策中永恒的课题。

三大开放难题的存在，进一步说明了这个领域距离成熟还有多远。第一个难题是视频切割，即如何将长视频切分成有意义的操作片段。目前的方法多基于视觉变化做切分，但真正有意义的切分应该基于语义和交互状态。一个"泡茶"的视频中，烧水、放茶叶、注水、等待、出汤，每个阶段的语义边界并不是视觉变化最大的地方，而是交互状态发生转变的节点。这恰恰是场景设计中任务分析法要解决的问题。我们在做用户研究时，不会把一段连续的操作录像简单地按时间等分，而是根据操作目标的变化、物体状态的转换、用户注意力的转移来划分任务单元。机器人学习如果不能在语义层面做好切割，模型学到的就可能是跨语义边界的混乱片段——就像一个设计师把用户"开门"和"进门后开灯"两个动作混为一个设计单元，得出的交互逻辑必然是扭曲的。

第二个难题是本体差异与视角差异的叠加。第一视角视频中的手部运动方向和第三人称视角下的观测方向是镜像或反转关系，再加上人手与机器手本体结构的不同，构成了双重映射难题。目前的解题方向是以交互结果——物体状态的变化——为锚点来对齐两种视角和两种本体。这个方向在设计方法论上可以找到对应。交互设计中有一个基本原则：不要以系统的输入输出为中心来定义交互，而要以用户的目标和可感知的结果为中心。当你把关注点从"手怎么动"转移到"物体状态发生了什么变化"时，本体差异和视角差异就不再是不可逾越的障碍——因为虽然动作方式不同，但交互的结果是共通的。拧开瓶盖的结果是瓶盖与瓶身分离、内部可以被访问，这个结果对人和机器人来说是一样的。以结果为锚点，本质上是以交互语义而非运动轨迹作为对齐基准，这是更有设计智慧的思路。

第三个难题是评测基准失效。当前用于衡量机器人学习算法表现的benchmark，其场景多样性和任务复杂度远远不及真实世界中人类视频所呈现的丰富程度。这就像用一套标准化考题去评价一个学生的创造力——考的东西可以量化，但真正重要的能力在考卷之外。在产品设计领域，我们也常面对类似的问题：实验室里的可用性测试可以发现明显的交互缺陷，但无法预测产品在真实家庭环境中可能遇到的千百种意外状况。解决之道不是把benchmark做得更大更全，而是建立多层级、多维度的评测体系，让算法在受控环境和开放场景中分别接受检验。这也呼应了平衡设计方法论中一个重要原则：量化指标与质性洞察必须互补，偏废任何一方都会导致判断失真。

说到平衡，我想从工业设计的专业角度展开谈谈这个领域面临的几组核心张力。第一组是数据规模与场景质量的平衡。HowTo100M的1.36亿片段和Ego4D的3600小时第一视角数据，规模上足够惊人，但这些视频在拍摄条件、操作规范性、场景标注完整性上参差不齐。大规模但低质量的场景数据喂给模型，可能带来的不是泛化能力的提升，而是统计意义上的平均化——模型学到了"大多数人在大多数时候怎么做"，但丧失了对边缘情况和精细操作的理解。在用户研究中，我们也面临类似的方法论选择：大样本问卷调查可以告诉你统计趋势，但深度的情境访谈和影随研究才能揭示行为背后的动机和约束。一个成熟的研究方案不会只追求样本量，而是根据研究问题选择合适的数据类型和精度。对机器人视频学习而言，也许真正需要的不是更多的视频，而是更高质量的场景标注——哪些视频片段包含了值得学习的操作语义，哪些只是无效的背景噪音，这个判断需要设计思维的介入。

第二组是泛化与专精的平衡。VLA加强化学习的路线已经能做出令人印象深刻的demo，但在泛化性上存在明显短板；世界模型承诺了更好的泛化能力，但短期内效果不确定。这种张力在产品设计中同样经典：一款产品是应该尽可能多地适应不同使用场景，还是在某个核心场景中做到极致？我的经验是，这个问题没有标准答案，取决于产品定位和用户需求的实际结构。对于家用服务机器人，用户期望它能在杂乱多变的家庭环境中处理多种任务，泛化能力是刚需；对于工业场景中的操作机器人，任务环境相对结构化，专精可能比泛化更有实际价值。技术路线的选择不应脱离应用场景的需求特征来空谈优劣，而应该像做产品定义一样，先搞清楚"为谁设计、在什么情境下使用、解决什么问题"，再决定技术投入的重心。

第三组是技术路线与用户需求的平衡。当前学术界对四条路线的讨论，很大程度上是在技术社区内部的逻辑中展开的——哪条路线的benchmark分数更高，哪条路线的论文更容易中稿，哪条路线的计算成本更可控。但机器人最终是要进入真实使用场景的产品，普通用户不关心你的模型用的是显式3D还是世界模型，他们关心的是机器人能不能可靠地完成任务、会不会弄坏东西、操作起来是否自然顺手。这种技术视角与用户视角之间的落差，在工业设计实践中屡见不鲜。工程师津津乐道于某项技术参数的突破，而用户真正在意的可能只是"它好不好用"。江苏创品工业设计在项目中始终坚持一个做法：在技术选型阶段就引入用户视角的评估，不是等技术方案确定后再做"界面美化"，而是让使用情境的需求反向约束技术路线的选择。这个做法放到具身智能领域同样适用——世界模型在技术上很优美，但如果它的计算成本使得机器人价格居高不下，普通家庭无力承担，那么技术上的优越性就无法转化为市场上的产品价值。

让我把视角拉得更具体一些。设想一个无锡普通家庭的周末上午，一位六十多岁的阿姨在厨房准备午饭。她从冰箱里拿出一块用保鲜袋裹着的咸肉，发现袋口打了个死结。她没有用刀去割——因为保鲜袋还要重复使用——而是用指尖摸索着结头的方向，左手拇指和食指固定住结的一端，右手指甲掐住另一端，轻轻一拉，结松了。这个动作持续了大约四秒钟，没有语言指令，没有明显的大动作，全靠指尖的精细触觉和多年处理类似问题的经验。现在，你想让机器人学会解开这种保鲜袋死结。从人类视频学习的角度，这里面有多少层信息需要提取？首先是语义层：这是一个"解开结"的任务，目标是分离两个交织的柔性结构，而不是切割或撕裂。其次是策略层：操作者选择了用手而非工具，因为工具可能损坏袋子；选择了找结头而非胡乱拉扯，因为盲目施力只会让结更紧。然后是技能层：指尖的力度控制在刚好能捏住袋头又不把它捏碎的范围内，双手的配合遵循固定-牵拉的协作模式。最后是物理层：塑料薄膜的摩擦系数、弹性形变范围、结节处的力学锁定机制。当前的四条技术路线，在不同层面上触及了这些信息，但没有任何一条路线能够完整覆盖。显式3D可以捕捉手部姿态，但无法感知指尖力度；世界模型可以预测袋子的状态变化，但难以建模柔性物体的非线性形变；潜在动作可能在数据中发现了某些规律性，但它无法解释为什么用刀是一个次优选择。这就是真实场景的复杂性，也是为什么我坚持认为，人类视频里的场景不是数据，而是设计命题——它要求你在语义、策略、技能和物理多个层面同时建立理解，而任何单一层面的技术方案都是不充分的。

这种多层理解的需求，对第一视角和第三人称视角的选择也有设计层面的启示。Ego4D等第一视角数据集的价值，近年来受到越来越多的重视，原因不仅在于第一视角能更清晰地捕捉手部操作细节，更在于它天然地携带了操作者的注意力分配信息。当你从一个人的眼睛看出去，画面中央和上方区域通常是视觉注意力的焦点，下方边缘区域是手主要出现的位置，这种空间布局本身就反映了人类"眼到手到"的协调机制。从交互设计角度，第一视角数据提供的不只是手部运动的观测，更是操作者感知-动作闭环的一个窗口——他在操作前看了哪里，操作中视线如何跟随物体移动，操作完成后目光转向哪里，这些注意力模式是机器人学习主动感知和任务规划的重要参考。第三人称视角则在场景全局理解上有优势，能看到操作者身体与环境的整体空间关系、周围的障碍物和辅助物、其他人物的位置和动作。两种视角不是替代关系，而是互补的信息源，正如在做用户研究时，我们既需要影随视角来理解用户的主观体验，也需要第三方观察来捕捉用户自己意识不到的行为模式。

操作语义的切割与理解，是连接视觉观察与机器人执行的关键桥梁，也是最需要设计思维介入的环节。在工业设计的任务分析中，我们通常把一个复杂操作分解为目标层级结构：最高层是用户的最终目标，比如"准备一杯咖啡"；中层是子目标序列，比如"取豆子、磨豆、烧水、冲泡、加奶"；底层是具体的操作动作，比如"握住磨豆机手柄、顺时针旋转十五度、重复十次"。每一层都有不同的语义粒度，也对应着不同的机器人学习需求。如果视频切割只在底层动作层面进行，机器人可能学会了"旋转手柄"，但不知道为什么要旋转、什么时候该停止、旋转的结果如何影响后续步骤。如果切割在子目标层面进行，机器人获得的是更有迁移价值的操作块——"磨豆"这个子目标可以用手摇磨豆机完成，也可以用电动磨豆机完成，甚至可以直接买预磨咖啡粉替代，具体手段不同但子目标不变。这种基于目标-手段层级的语义理解，是机器人从"模仿动作"走向"理解任务"的必经之路。目前视频切割技术在这个方向上还处于早期，但设计学中成熟的任务分析方法可以提供重要的概念框架和标注体系。

微软亚研院选择聚焦人类传感器数据加灵巧手操作，并推出VITRA开源项目，这个布局背后有清晰的研究逻辑。人类传感器数据不仅包括视频，还可能包括IMU、触觉手套、眼动仪等多模态信号，这些数据能补充纯视觉视频中缺失的本体感知和接触力信息。而灵巧手操作则直指本体差异这一核心瓶颈——当机器人执行器的自由度和柔顺性越来越接近人手时，映射问题就从"结构异构映射"简化为"相似结构间的运动重定向"，难度大幅降低。从产业生态角度看，开源VITRA有助于建立统一的技术底座，让更多研究者在同一基准上比较和迭代，避免各自为战造成的资源浪费。这让我想到设计行业中开源设计系统的价值——当基础组件和规范被共享，整个社区就能把精力集中在更有创造性的上层问题上，而不是重复造轮子。

关于具身智能的"GPT-3.5时刻"何时到来，业内普遍判断"可能还会很久"。这个判断是理性的。GPT系列的突破建立在大规模文本数据和相对统一的token空间之上，语言的离散性和自监督特性使得规模扩展能够带来可预测的能力涌现。但机器人学习面对的是连续的、高维的、多模态的物理交互空间，数据采集成本、本体差异性、物理规律建模的困难，都使得简单的规模扩展逻辑未必奏效。从设计角度看，我们不应该消极等待某个奇点时刻的到来，而应该在当前技术条件下寻找可以落地的应用场景，通过真实部署中的反馈来驱动技术迭代。这也是设计思维中"原型驱动"原则的体现——与其在实验室里追求完美的通用智能，不如先在特定场景中做出有用的产品，在使用中发现问题、积累经验、逐步扩展能力边界。

无锡作为长三角先进制造业集群的重要节点城市，在机器人产业的硬件制造和系统集成方面有着扎实的基础。但我在与本地制造企业交流时发现，很多企业对机器人的认知还停留在"自动化设备升级"的层面，关注的是速度、精度、负载等传统工业指标。人类视频学习所代表的具身智能方向，要求企业从更根本的层面重新思考机器人的产品定义：它不再是一个执行固定程序的机械装置，而是一个能够通过观察和练习持续学习的智能体。这种转变对工业设计提出了新的要求——机器人的外形、交互方式、学习界面、安全机制都需要围绕"人机共学"的新范式来重新设计。比如，当机器人通过视频学习了一项新技能后，它应该以什么方式向用户确认自己的理解是否正确？当它在执行中遇到不确定的情况时，应该如何向人类求助？当多个机器人在同一空间中协作时，它们的学习经验如何共享和校准？这些问题不是单纯的算法问题，而是场景设计、交互体验和人因工程交叉的综合性设计课题。

回顾整篇分析，我想强调的核心观点其实很朴素：人类视频对于机器人学习的价值，不在于提供了更多像素级别的训练数据，而在于其中浓缩了人类在长期进化和日常生活中积累的情境智慧——什么时候该做什么事、用什么方式做、做到什么程度算完成、遇到异常如何调整。这种智慧是整体性的、语义化的、情境依赖的，不能被简化为手部关键点坐标或三维姿态序列。工业设计学科在理解用户情境、拆解任务语义、平衡多重约束方面积累了系统的方法论，这些方法论在机器人学习领域同样具有启发意义。无论是四条技术路线的选择与融合，还是三大开放难题的破解，亦或是数据与场景、泛化与专精、技术与需求之间的平衡，都需要一种超越纯技术视角的设计思维来牵引。机器人要学的从来不只是动作，更是动作背后那个丰富、微妙、充满逻辑的人类情境世界。看懂了情境，动作才有意义；理解了设计，技术才有方向。