泉源：analyticsindiamag

编辑：LRS

【新智元导读】瞽者脸图像修复一向是图像修复的一个困难，因为多种混淆的退化要领导致照片难以修复。近来腾讯ARC试验室近来公布了一篇论文，先容了瞽者脸修复模子GFP-GAN，不但性能快，效果还保真，再也不会犯把奥巴马变碧眼儿的错误了！

瞽者脸修复（blind face restoration）是从低质量的人脸中规复出高质量人脸的历程。这些质量较低的肖像图大概由种种缘故原由导致退化，如低辨别率，噪音，含糊或是被压缩。

和普通的图像修复相比，人脸修复越发看重细节，如一些皱纹、酒窝等都必要规复出来才气让人觉得这个体系不错，也便是说，这是一个粒度更细的图像修复使命。

其次，如标题中 blind 所言，照片的退化函数的范例、数目我们是无法事先获悉的。通常的图像修复都是针对一种退化场景设计的，好比，在去噪使命中，大概就只是针对某种或某几种噪声而言，而不思量图像含糊等其他身分，是以使命相对简洁。

但假如退化的种类太多，退化函数自己大概会非常庞大，纵然神经网络也未必能类似出来。

之前瞽者脸规复的研究通常依靠于面部多少特性或参考之前照片细节举行规复。但这类要领在实际场景中的实用性非常有限，低质量的输入通常无法提供正确的多少先验，也无法得到高质量的参考。

针对这个题目，腾讯PCG的应用研究中间ARC试验室提出了GFP-GAN模子，使用封装在预练习面部GAN中的富厚多样的先验信息举行盲面部修复。这种天生性面部先验模子（Generative Facial Prior, GFP）通过空间特性变更层被纳入到面部规复历程中，这使得该要领可以或许实现真实性和保真度的精良均衡。

而且得益于壮大的通用面部先验和精致设计，GFP-GAN只需一次前向通报即可同时修复面部细节和加强颜色，而GAN inversion要领必要在推理时举行特定图像的优化。

文章的第一作者是腾讯 ARC 试验室(深圳应用研究中间)的研究员，在香港中文大学多媒体试验室得到博士学位，并在汤晓鸥传授和Chen Change Loy传授的引导下举行研究。

于2016年得到浙江大学工程学士学位。研究兴趣包罗盘算机视觉和深度进修，尤其存眷图像/视频规复使命，如超辨别率。

主流的图像修复技能照旧反抗天生网络GAN，但怎样用好GAN是个学问。

GFP-GAN 举行真实天下瞽者脸回复复兴。面部先验知识隐含在像 StyleGAN 如许颠末练习的面部 GAN 模子中。这些面部GAN模子可以天生具有种种百般的面貌，可以天生多种脸型、多种肤色、纹理特性的面部。

这里的难点涉及到将这些天生的先验纳入修复历程。在已往，研究通常利用 GAN inversion要领来规复。在这个历程中，退化的图像起首被反转回一个预练习的 GAN隐空间的编码，之落伍行迟钝的image-specific的优化重修图像。

固然输出在视觉上是真实的，但是它们的保真度很低。

GFP-GAN 通过利用了一个奇妙的设计来办理这些题目，有助于在single forward pass中均衡真实性和保真度。

GFP-GAN 包罗一个退化扫除模块和一个预练习的面部 GAN 作为面部先验。这两个模块通过直接的隐编码映射和多个信道支解空间特性变更(CS-SFT)层以粗到精的方法毗连。

CS-SFT 层对特性举行空间调治。左边的特性是直接通过信息储存，此中包罗天生预先，同时连结高保真度。

研究职员还引入了面部部件丧失（ facial component loss），利用局部鉴别器来加强稳定的面部细节，同时通过辨认保存丧失（identity preserving loss）来进步保真度。

只管在改进瞽者影像回复复兴方面取得了希望，但仍旧面对许多难点，GFP-GAN 要领也不克不及很好地办理。根据作者的说法，只管 GFP-GAN 在种种生齿群体的大多数面貌上体现精良，但当输入的图像是灰度图像时，题目就显现了。这大概会导致输出有颜色毛病，由于输入中并不包罗充足推断肤色的颜色信息。

别的，假如退化的真实图像非常严峻的，修复的面部细节就完满是由 GFP-GAN 天生的了，也便是说跟原图干系不大。因为合成退化和练习数据漫衍差别于实际天下中的数据漫衍，这种要领也简单对非常大的姿势孕育发生非天然的效果。作者以为，这种范围性可以通过利用真实数据的漫衍来降服，而不是仅仅依靠于合成数据。

人脸修复是一个棘手的范畴，尤其是在私见身分方面。近来产生的一个有味的事是PULSE 算法将一张低质量的巴拉克•奥巴马(Barack Obama)照片举行了高倍放大，从而输出了一张高辨别率的白人照片。这种毛病题目在呆板进修中非常广泛，由于人脸辨认算法在非白人和女性面貌上的数据网络较少。

人脸盲修复已经是CV中紧张研究范畴，以是相干的事情也有许多，比方近来的 CVPR 2021中，有研究职员引入了渐进式语义感知气势派头转换框架 (progressive semantic-aware style transformation framework-GAN, PSFR-GAN)要领。该技能通过语义感知样式转换规复低质量的人脸图像，起首创建一个多标准输入金字塔，然后渐渐从粗到精调解差别标准的特性。

DeblurGAN 利用端到真个 GAN 举行单幅图像活动去含糊。这种要领可以进步模子的去含糊服从、机动性和质量，是基于条件 GAN 与双标准鉴别器（double-scale discriminator）。作者声称这是第一次将特性金字塔网络作为 Deblur-GAN 天生器中的焦点构建模块纳入到去含糊中。

mGANprior 的要领将练习好的 GANs 作为种种图像处置惩罚使命之前的有用东西。该要领在天生器的中心层天生多个特性映射，然后依据自顺应信道紧张度对其举行合成，规复输入图像。

参考资料：

http://analyticsindiamag.com/using-gans-for-generating-high-quality-faces-from-degraded-images/