据英国《每日邮报》6月14日报道,国际足联世界杯将于14日开赛,目前研究人员已创建出一种可以将足球比赛视频转化为3D全息图的AI,该技术可以将YouTube视频投射到桌面,将其重构为3D图像。研究人员说,佩戴任何3D或AR设备便可观看。
来自华盛顿大学、脸书和谷歌的研究人员创建了第一个端到端的深度学习系统,将YouTube上的足球比赛视频转化为动态的3D全息图。他们从国际足联比赛视频中提取了12000张球员的2D图像,然后利用3D数据进行卷积神经网络训练。研究人员说,重塑足球比赛视频并不容易,面临着许多挑战。他们在描述这项工作的一项新研究中写道:“我们必须估计摄像机相对于比赛场地的位置与角度,对每个球员进行检测和追踪,重构他们的体型和姿势,并进行组合重建。”
该系统能够准确预测深度图,并将其与彩色胶片相结合,以3D形式重构每个球员。但是,目前足球的重构仍在进行中。他们写道:“我们实现了首个端到端系统的目标,但足球的重构还未实现,这是未来继续努力的方向。”
研究人员将比赛重置于虚拟的足球场上,在世界上任何地方通过3D或AR设备便可以从多种角度观看比赛。他们使用微软的全息透镜智能眼镜进行了测试,尽管该系统只适用于合成的比赛视频,但他们在YouTube上找了十个高分辨率的职业足球比赛视频,对其进行了测试,结果非常好。