演技差靠换脸？迪士尼开发百万像素换脸新技术，或将用于大荧幕

来历：品玩

deepfakes 技能可以用于图像和视频换脸，但它可否用于大建造影戏和电视节目中呢？迪士尼最新放出的一则视频 demo 展示了这种也许性。

克日迪士尼在欧洲图形学会透视研讨会（EGSR）上颁发研究，展示了首个百万像素传神换脸技能。

结果是不是还不错。这样的结果固然并不敷以用于漫威影戏，但它是换脸技能迈出的新一步。

来自迪士尼的研究者暗示，这项技能的创新点在于可以或许到达百万像素质量。百万像素或者不再是高质量图像的代名词，事实手机自带摄像头就能到达万万像素。可是制止今朝，换脸技能一向注重滑腻的面部转换，不注重进步像素。

你也许在手机上看到过结果好到爆炸的换脸视频，可是假如把它们放在更大的屏幕上泛起，就会呈现许多瑕疵。研究者暗示，他们用开源 deepfake 模子 DeepFakeLab 建设的视频判别率最高也只有 256*256 像素。对比之下，迪士尼新模子可以或许让视频的判别率晋升到 1024*1024 像素。

那么，百万像素换脸是怎样实现的呢？

首个百万像素换脸要领

迪士尼的这项研究颁发在欧洲图形学会透视研讨会（EGSR）上，提出了一种在图像和视频中实现全自动换脸的算法。据研究者称，这是首个渲染百万像素传神功效的要领，且输出功效具备时序同等性。

详细来说，该研究提出了一个渐进式实习的多路 comb 收集，以及一种保持亮度和比拟度的殽杂要领。

详细而言，固然渐进式实习可以或许天生高判别率图像，但将架构和实习数据扩展至两人以上可以使天生的心情具备更高的保真度。

另外，在将天生的心情合成到方针人脸时，研究者调解殽杂计策，以保持比拟度和低频光照。

最后，研究者在人脸要害点不变算法中融入了一种细化计策，以实现时序不变性，这对付处理赏罚高判别率视频来说至关重要。

在尝试部门，研究者通过节制变量研究来验证该要领对调脸质量的影响，并与风行的 SOTA 要领举办了较量。

下图展示了迪士尼换脸要领的天生功效：

高清换脸 Pipeline

下图 2 展示了百万像素判别率下执行传神换脸的整体流程：

该流程包罗如下四个步调：

对付图像 x_t，检测人脸并定位人脸要害点；

将人脸判别率归一化为 1024 × 1024，生涯归一化参数；

将归一化人脸馈入收集，并生涯第 s 个解码器的输出 x _s；

行使步调 2 生涯的归一化参数，在图像 x _s 上反转图像归一化功效。最后，借助该研究提出的合成要领，将天生的图像与图像 x_t 殽杂。

而该流程中，最焦点的组件无疑是模子自己了。该研究行使的单编码器 - 多解码器收集架构如下图 3 所示：

另外，研究者还先容了实现人脸要害点对齐和不变的要领，以确保换脸图像的时序同等性，以及保持光照和比拟度的图像合成流程。此处不再赘述，详情拜见原论文。

与当前 SOTA 要领的比拟

下图 4 为该要领与 DeepFakes、DeepFaceLab 和 Nirkin 等人提出要领的换脸结果比拟。从左到右依次为：方针图像、源图像、该要领在 1024 × 1024 和 256 × 256 判别率下的成像结果，以及其他三种要领的成像结果。

节制变量研究

研究者执行以下四种尝试，来查察该研究提出的单编码器 - 多解码器收集架构和算法对调脸质量的影响：

渐进式实习 VS 一次性实习整个收集；

行使多路 comb 模子 VS 单独的双路模子；

该研究提出的保持比拟度的多频段合成要领 VS 泊松融合要领；

该研究中人脸要害点不变要领的影响。

下图 5 为渐进式实习与非渐进式实习的成像结果比拟，可以看出，渐进式实习的成像结果优于非渐进式实习。

下图 7 为行使多路 comb 模子与双路模子的成像结果比拟：

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!