智器材
编 |王颖
导语：近日，Facebook透露，他们研发了新的AI模型，可以将实际视频与游戏形象连系。
智器材4月19日新闻，近日Facebook揭橥了一篇关于从实际视频中提取脚色的论文Vid2Game: Controllable Characters Extracted from Real-World Videos（Vid2Game：从真实世界视频中提取可掌握的脚色）。
在这篇论文中，Facebook提出了一个新的AI模型，这个模型能够对原始视频中的动态的脚色进行定位和提取，提取后的脚色可被斥地者掌握，而且添加上随意配景即可生成新视频。
一、AI若何将实际视频与游戏形象连系？
这个团队的方式依靠于两个神经收集，或许说是模拟生物神经元的数学函数层: Pose2Pose，一个将当前姿态和单一实例掌握旌旗映射到下一个姿态的框架；Pose2Frame，将当前姿态和新姿态（以及给定的配景）一路放在输出帧上。这些把持能够由任何“低维”旌旗掌握，好比来自操作杆或键盘的旌旗。研究人员透露，该系统充沛壮大，能够在动态配景中定位提取图像，并将现有配景进行随意的更调，融合成新的图像后生成视频输出。
这种AI模型生成新的视频有两个具体步伐。首先，将包含一个或多个图像的输入视频输送到一个特定区域（如跳舞）练习的Pose2Pose收集中，该收集将这些图像（加上预估的前景空间掩模）和它们的活动隔脱离来，特定区域将作为它们质心的轨迹。（掩模用于确定哪些区域的配景被合成的图像信息所庖代。）
然后，使用这些和组合而成数据，Pose2Frame将场景中与脚色相关的转变（如暗影、被持有的物品和反射）和与脚色无关的转变分隔，最终能够形成任何想要的配景与动作的夹杂视频输出。 二、经由练习对比提取可控脚色
为了练习这个AI系统，研究人员采集了三个视频，每个视频长度在5到8分钟之间。这三个视频离别为：一个网球活动员在户外、一小我在室内挥舞着剑、一小我在走路。
研究人员申报说，将这三个视频与传输舞者三分钟视频的神经收集模型比拟，他们的方式成功地对动态元素进行了对比，如其他人和摄像机角度的差别，以及脚色服装和摄像机角度的转变。
研究人员在论文中写道：“每个收集都解决了之前未完全知足的较量问题，同时为生成具有真切图形的视频游戏摊平了道路。此外，从雷同YouTube的视频中提取的可控脚色能够在虚拟世界和增加实际中找到本身的位置。” 三、行使AI系统优化游戏成为..
Facebook并不是独一一家研究或者有助于游戏设计AI系统的公司。
初创AI手艺公司Promethean AI行使机械进修匡助人类艺术家为视频游戏创作艺术形象，行使主动化省去反复的建模工作。
AI视觉较量公司Nvidia的研究人员比来有展示了一种能够使用视频片段建立虚拟情况的生成模型。
机械进修也被用来优化复古游戏中的旧游戏纹理，如《最终幻想VII”和“塞尔达传说：暮光公主》，以及在游戏《扑灭兵士》中从零起头生成数千个关卡。 结语：AI手艺成为行业新冲破
AI已经被越来越普遍的应用到了各个范畴，各行业都在行使AI手艺寻找新的冲破口。
在图像处理范畴，AI图像手艺正在匡助游戏行业优化或许斥地更有趣的产物，并逐渐成为游戏行业竞争的又一个主要身分。
原文来自：VentureBeat
