用 RSO Pose 预测动作

从人类动作中学习

我们用人体动作捕捉数据训练 RSO Pose，逐个姿态生成动作。控制器驱动仿真中的角色，以行走、跑动和转向为基础。目标方向或速度改变时，控制器生成的动作也会随之改变。

动作捕捉记录身体随时间发生的变化。行走序列包含每一步的时机，以及腿部与上半身的协调。转向则在连续几个时刻中展开，角色改变朝向，同时继续移动。这些序列为模型提供了学习的示例。

训练控制器

我们的工作基于已发表的 DeepPhase 架构。我们使用人类动作训练了自己的相位表示和运动控制器，随后将控制器调整为可在实时仿真中使用。

相位表示描述全身运动节奏中的规律，为控制器提供动作目前进行到哪一步的信息。这很重要，因为下一个姿态既取决于角色是如何到达当前位置的，也取决于接下来要求它去哪里。

控制器结合近期动作、目标方向和速度，预测接下来会怎样移动。记录下来的序列为训练提供了这种关系的示例。以交互方式运行控制器，则让我们能够考察：当它自身生成的姿态成为下一次预测的历史输入时，它会如何表现。

生成连续动作

每个预测姿态都会成为下一步输入的一部分。因此，角色在响应方向控制的同时，也在连续的模型输出中移动。我们可以在跑动过程中改变方向，并考察转向如何通过整个身体逐渐展开。

这种重复预测是测试的重要部分。单个合理的姿态只能反映一小部分行为。我们还会考察动作在整个序列中是否保持连贯，过渡在正常速度下看起来如何，以及角色怎样响应控制变化。

行走和跑动为这项工作奠定基础。重复的步伐让我们能够在多个周期中检查时机和脚部接触。转向增加了另一项要求：角色必须在保持现有运动的同时改变路线。

与地面接触

生成的动作也需要适应仿真世界。我们将模型姿态与接触调整和控制改进结合起来，研究脚部落点与动作过渡。控制器的这些部分帮助动画与场景相适应。

我们在可操控的实时仿真中测试结果。学习得到的姿态序列，与让它适应地面所使用的调整，承担着不同的作用。明确区分两者，有助于在脚部滑动或过渡不自然时，判断系统的哪一部分需要改进。

让机器人运动更自然

我们希望机器人的动作更容易理解与预判。熟悉的时机和协调方式，或许能帮助人们理解一个正在接近的身体，或看出它即将转向。这是进一步工作的方向，其中也包括研究人们如何回应这些动作。

游戏、数字化身和动画工具也是潜在应用。当前控制器运行于仿真环境。实体机器人会带来更多平衡与接触要求，还涉及其具体硬件的控制。这些方面需要各自的开发和评估。