还记得那些来自90年代的FMV游戏 - 那些将预先录制的剪辑与动画精灵和3D模型混合在一起的游戏吗?Facebook正在将它们带回到风格中，并且改进了十倍。在Arxiv.org上新发布的预印纸(“ Vid2Game：从真实世界视频中提取可控制的角色”)中，Facebook AI Research的科学家描述了一种能够从真实世界视频中提取可控角色的系统。
“我们的方法从一个不受控制的视频中提取一个角色，使我们能够控制它的动作，”该论文的共同作者解释道。“该模型生成了该人的新颖图像序列...... [和]生成的视频可以具有任意背景，并有效地捕捉到人的动态和外观。”
团队的方法依赖于两个神经网络，或者以生物神经元为模型的数学函数层：Pose2Pose，一个将当前姿势和单实例控制信号映射到下一个帖子的框架，以及Pose2Frame，它将当前姿势和新在输出帧上构造(以及给定的背景)。复活可以通过任何“低维”信号控制，例如来自操纵杆或键盘的信号，研究人员说系统足够稳健，可以在动态背景中定位提取的字符。
那怎么样呢?首先，将包含一个或多个字符的输入视频馈送到针对特定域(例如，跳舞)训练的Pose2Pose网络，其将它们隔离(加上估计的前景空间掩模)及其运动 - 后者被视为轨迹他们的质量中心。(蒙版用于确定背景的哪些区域被合成图像信息替换。)使用这些和组合的姿势数据，Pose2Frame可以区分场景中与角色相关的变化，如阴影，保持项目和反射以及角色。 - 独立的，并返回一对与任何所需背景线性混合的输出。
为了训练人工智能系统，研究人员采集了三个视频，每个视频长度为五到八分钟，一个户外网球运动员，一个人在室内摆动剑，一个人走路。与馈送三分钟舞者视频的神经网络模型相比，他们报告说他们的方法成功地对动态元素进行了对比，例如其他人和相机角度的差异，以及角色服装和相机角度的变化。
他们写道：“每个网络都解决了之前未完全满足的计算问题，同时为生成具有逼真图形的视频游戏铺平了道路。” “此外，从类似YouTube的视频中提取的可控角色可以在虚拟世界和增强现实中找到自己的位置。”
Facebook并不是唯一一家调查可能有助于游戏设计的人工智能系统的公司。启动Promethean AI利用机器学习帮助人类艺术家为视频游戏创作艺术，Nvidia研究人员最近展示了一种可以使用视频片段创建虚拟环境的生成模型。机器学习也被用来拯救复古游戏中的旧游戏纹理，如“最终幻想VII”和“塞尔达传说：暮光公主”，并从头开始在Doom等游戏中生成数千个关卡。