欢迎光临 蜂娱棋牌平台

足球赛事

您现在的位置是:主页 > 网站地图 > 演技差靠换脸?迪士尼开发百万像素换脸新技术,或将用于大荧幕

网站地图

演技差靠换脸?迪士尼开发百万像素换脸新技术,或将用于大荧幕

发布时间:Oct 17, 2020网站地图 阅读 7537 次蜂娱棋牌平台
蜂娱棋牌平台deepfakes 技术可以用于图像和视频换脸,但它能否用于大制作电影和电视节目中呢?迪士尼最新放出的一则视频 demo 展示了这种可能性。 蜂娱棋牌平台近日迪士尼在欧洲图形学会透视

蜂娱棋牌平台deepfakes 技术可以用于图像和视频换脸,但它能否用于大制作电影和电视节目中呢?迪士尼最新放出的一则视频 demo 展示了这种可能性。

蜂娱棋牌平台近日迪士尼在欧洲图形学会透视研讨会(EGSR)上发表研究,展示了首个百万像素逼真换脸技术。

效果是不是还不错。这样的效果虽然并不足以用于漫威电影,但它是换脸技术迈出的新一步。

来自迪士尼的研究者表示,这项技术的创新点在于能够达到百万像素质量。百万像素或许不再是高质量图像的代名词,毕竟手机自带摄像头就能达到千万像素。但是截至目前,换脸技术一直注重平滑的面部转换,不注重提高像素。

你可能在手机上看到过效果好到爆炸的换脸视频,但是如果把它们放在更大的屏幕上呈现,就会出现很多瑕疵。研究者表示,他们用开源 deepfake 模型 DeepFakeLab 创建的视频分辨率最高也只有 256*256 像素。相比之下,迪士尼新模型能够让视频的分辨率提升到 1024*1024 像素。

那么,百万像素换脸是如何实现的呢?

首个百万像素换脸方法

蜂娱棋牌平台迪士尼的这项研究发表在欧洲图形学会透视研讨会(EGSR)上,提出了一种在图像和视频中实现全自动换脸的算法。据研究者称,这是首个渲染百万像素逼真结果的方法,且输出结果具备时序一致性

具体来说,该研究提出了一个渐进式训练的多路 comb 网络,以及一种保持亮度和对比度的混合方法。

具体而言,虽然渐进式训练能够生成高分辨率图像,但将架构和训练数据扩展至两人以上可以使生成的表情具备更高的保真度。

此外,在将生成的表情合成到目标人脸时,研究者调整混合策略,以保持对比度和低频光照。

最后,研究者在人脸关键点稳定算法中融入了一种细化策略,以实现时序稳定性,这对于处理高分辨率视频来说至关重要。

在实验部分,研究者通过控制变量研究来验证该方法对换脸质量的影响,并与流行的 SOTA 方法进行了比较。

下图展示了迪士尼换脸方法的生成结果:

高清换脸 Pipeline

下图 2 展示了百万像素分辨率下执行逼真换脸的整体流程:

该流程包括如下四个步骤:

对于图像 x_t,检测人脸并定位人脸关键点;

将人脸分辨率归一化为 1024×1024,保存归一化参数;

将归一化人脸馈入网络,并保存第 s 个解码器的输出 x˜_s;

使用步骤 2 保存的归一化参数,在图像 x˜_s 上反转图像归一化结果。最后,借助该研究提出的合成方法,将生成的图像与图像 x_t 混合。

而该流程中,最核心的组件无疑是模型本身了。该研究使用的单编码器 - 多解码器网络架构如下图 3 所示: