基于生成对抗网络的异质人脸图像合成:进展与挑战

论文摘要

异质人脸图像合成旨在生成逼真、可识别的多种视觉形态的人脸肖像,包括画像、漫画等多种模态.异质人脸图像合成在公共安全和数字娱乐领域具有广泛的应用前景和重要的研究价值,已成为当前研究热点之一.近年来,随着生成对抗网络的发展以及其在多种图像风格转换任务中的成功,研究人员利用生成对抗网络构建了多种异质人脸图像合成的新方法.本文简要回顾了异质人脸图像合成的发展历史,并从异质人脸图像合成的应用进展、模型结构、性能评估、数据集和定性分析等方面综述了该领域最新的关键技术的发展情况,展望了异质人脸图像合成面临的挑战以及其关键技术的发展趋势.

论文目录

0 引言

1 背景介绍

1.1 任务描述

1.2 生成对抗网络

1.2.1 条件生成对抗网络

1.2.2 循环生成对抗网络

2 异质人脸图像合成研究进展

2.1 画像合成

2.2 漫画合成

2.3 年龄合成

1)直推式生成:

2)渐进式生成:

2.4 人脸美颜

2.5 其他异质人脸图像合成

2.5.1 热红外人脸图像合成

2.5.2 通用人脸图像风格转换

3 生成对抗网络模型结构

3.1 输入

3.2 生成器结构

1)单一生成器[9,26-29,84]:

2)堆叠式生成器[35]:

3)多支路生成器（全局）[34]:

4)多支路生成器（全局+局部）[33]:

5)循环式生成器[16,83,97]:

6)协作式生成器[36-37]:

3.3 判别器结构

1)单一判别器[9]:

2)多尺度判别器[27]:

3)金字塔判别器:

1)无监督式判别器[6]:

2)类别辅助判别器[31]:

3)类别辅助多路判别器[63]:

4)条件式判别器[9]:

3.4 目标函数

3.4.1 身份损失

3.4.2 感知损失

3.4.3 结构重建损失

4 性能评估方法

4.1 主观评价

4.1.1 激励比较法

4.1.2 单激励法

4.2 客观评价

4.2.1 保真度

4.2.1.1 通用图像质量评价方法

1) 均方误差（MSE）:

2) 峰值信噪比（PSNR）:

3) 结构相似度（Structure Similarity Index Measure,SSIM）:

4) 特征相似度（Feature SIMilarity,FSIM）:

5) 视觉信息保真度（Visual Information Fidility,VIF）:

4.2.1.2 专用图像质量评价方法

4.2.2 可解译度

1)身份解译度:

2)属性解译度:

4.2.3 真实度

1)IS:

2)FID:

5 数据集及性能分析

5.1 数据集

5.1.1 画像合成数据集

1)CUFS:

2)CUFSF:

5.1.2 人脸漫画数据集

1)IIIT-CFW[123]:

2)WebCaricature[124]:

5.1.3 年龄合成数据集

1)Morph[125]:

2)CACD[126]:

3)FG-NET[127]:

5.1.4 人脸美颜数据集

1)Multi-Modality Beauty （M2B）[128]:

2)Makeup Transfer（MT）[129]:

5.2 性能分析

5.2.1 画像合成性能分析

5.2.2 漫画合成性能分析

5.2.3 年龄合成性能分析

5.2.4 人脸美颜性能分析

6 问题与挑战

1)不可控人脸图像:

2)几何形变:

3)多风格:

4)精细生成:

5)视频序列:

6)性能评估:

7 结论

文章来源

类型: 期刊论文

作者: 黄菲,高飞,朱静洁,戴玲娜,俞俊

关键词: 生成对抗网络,异质人脸图像合成,图像风格转换,深度学习,数字艺术

来源: 南京信息工程大学学报(自然科学版) 2019年06期

年度: 2019

分类: 工程科技Ⅱ辑,信息科技

专业: 计算机软件及计算机应用,自动化技术

单位: 杭州电子科技大学计算机学院/复杂建模与仿真教育部重点实验室,西安电子科技大学综合业务网理论及关键技术国家重点实验室/电子工程学院

基金: 国家自然科学基金(61601158,61971172,61971339,61836002,61702145),中国博士后自然科学基金(2019M653563),浙江省教育厅一般项目(Y201942162,Y201840785)

分类号: TP391.41;TP18

DOI: 10.13878/j.cnki.jnuist.2019.06.004

页码: 660-681

总页数: 22

文件大小: 4833K

下载量: 208

基于生成对抗网络的异质人脸图像合成:进展与挑战

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢