高丽大学等机构联合发布StarGAN:可自定义表情和面部特征

原文来源：arXiv、GitHub

作者：Yunjey Choi、 Minje Choi、Munyoung Kim、Jung-Woo Ha、Sung Kim、Jaegul Choo

「雷克世界」编译：嗯~阿童木呀、哆啦A亮

最近的研究表明，两个域之间的图像到图像转换取得了显著的成功。不过，现有的方法在处理两个以上的域时在可扩展性和鲁棒性方面存在局限性，因为应该为每一对图像域独立地构建不同的模型。为了解决这个限制，我们提出了StarGAN，这是一种全新的、可扩展的方法，可以仅使用一个模型为多个域执行图像到图像转换。StarGAN这样一个统一的模型架构能够使得我们在一个单一网络中同时对不同域的多个数据集进行训练。这导致StarGAN转换图像的质量要优于现有模型，并且具有将输入图像灵活转换为成任何期望目标域的新颖能力。根据经验，我们证明了该方法在面部属性迁移和面部表情合成任务上的有效性。

图1：在CelebA数据集上通过传递从RaFD数据集中学习到的知识进行多领域的图像到图像的翻译结果。第一列和第六列显示输入图像，而其余的列是由StarGAN生成的图像。请注意，图像是由一个单一的生成器网络产生，面部表情标签，如愤怒、快乐和恐惧，来自RaFD，而不是CelebA。

图像到图像转换的任务本质是将给定图像的一个特定方面改变为另一种样子，例如，将人的面部表情从微笑改变为皱眉（参见图1）。在引入生成对抗网络（GAN）之后，这个任务经历了重大改进，生成结果包括改变头发颜色、从边缘映射重建照片、改变风景图像的季节等。

给定来自两个不同域的训练数据，这些模型学习如何将图像从一个域转换到另一个域中。我们将术语属性表示为诸如头发颜色、性别或年龄等这些图像中固有的有意义的特征，而将属性值作为属性的特定值，例如头发颜色的黑色/金色/棕色，或性别的男性/女性。我们进一步将域表示为一组共享相同属性值的图像。例如，女性的图像可以代表一个域，而男性的图像则代表另一个域。

一些图像数据集带有一些标注属性。例如，CelebA数据集包含40个与面部属性相关的标签，如头发颜色、性别和年龄，而RaFD数据集有8个面部表情标签，如开心、生气、伤心。这些设置使我们能够执行更多有趣的任务，即多域图像到图像转换，其中我们根据来自多个域的属性来更改图像。图1中的前五列显示了一个CelebA图像是如何根据“金发”、“性别”、“老年”和“苍白皮肤”四个域中的任何一个进行转换的。我们可以进一步扩展到从不同的数据集中训练多个域，如联合训练CelebA和RaFD图像，从而使用在RaFD训练过程中学习的特征来改变CelebA图像的面部表情，如图1最右边的一列。

然而，现有的模型在这种多域的图像转换任务中效率不高且效果不好。它们效率不高主要是由于为了学习k个域之间的所有映射，必须训练k（k-1）个生成器。图2说明了十二个不同的生成器网络如何被训练以在四个不同的域之间进行图像转换。于此同时，它们效果也不好，即使存在诸如面部形状这样可以从所有域的图像中得以学习到的全局特征，每个生成器都不能充分利用整个训练数据，只能从k个中的两个域中进行学习。未能充分利用训练数据可能会限制生成图像的质量。此外，由于每个数据集都已部分标注，所以他们无法联合训练来自不同数据集的域。

图2.跨域模型和我们提出的模型StarGAN之间的比较。(a)为了处理多个域，应该为每对图像域建立跨域模型(b)StarGAN能够使用单个生成器学习多个域之间的映射。该图表示连接多个域的星形拓扑。

作为解决这些问题的一个方案，我们提出StarGAN，一个能够学习多个域之间映射的生成式对抗网络。如图2(b)所示，我们的模型接受多个域的训练数据，并且只使用一个生成器即可学习所有可用域之间的映射。这个想法很简单，我们的模型不是学习固定转换（例如，黑色到金色的头发），而是将图像和域信息作为输入，并学习将输入图像灵活地转换成相应的域。我们使用标签（例如，二进制或独热向量）来表示域信息。在训练过程中，我们随机生成一个目标域标签，训练模型以灵活地将输入图像转换为目标域。通过这样做，我们可以控制域标签，并在测试阶段将图像转换成任何期望的域。

我们还引入了一种简单而有效的方法，通过向域标签添加一个掩码向量来实现不同数据集域之间的联合训练。我们提出的方法确保模型可以忽略未知的标签，并将关注点放在特定数据集提供的标签上。以这种方式，我们的模型可以很好地完成任务，如使用从RaFD学习的特征来合成CelebA图像的面部表情，如图1最右边的列所示。据我们所知，我们的该项研究是第一个在不同数据集上成功执行多域图像转换的研究。

总的来说，我们的贡献如下：

o我们提出了一种全新的生成对抗网络StarGAN，该网络只使用一个生成器和一个鉴别器来学习多个域之间的映射，并可以有效地从所有域的图像中进行训练。

o我们演示了如何使用掩模向量方法（mask vector method）成功地学习多个数据集之间的多域图像转换，该方法能够使得StarGAN控制所有可用的域标签。

o我们通过使用StarGAN进行面部属性迁移和面部表情合成任务，对其结果进行了定性和定量分析，结果显示其优于基线模型。

在本文中，我们提出了StarGAN，这是一种全新的、可扩展的方法，使用单一模型在多个域之间执行图像到图像的转换。除了可扩展性方面的优势之外，得益于在多任务学习环境背后的泛化能力，相较于现有方法，StarGAN生成的图像具有更高的视觉质量。另外，所提出的简单掩模向量方法使StarGAN能够利用部分标记的多个数据集，从而控制所有可用的域标签。 原则上，我们提出的模型可以应用于任何其他类型的域之间的转换，例如，风格迁移，而这将是我们未来的研究方向之一。

PyTorch实现StarGAN：用于多域图像到图像转换的统一生成对抗网络。（
https://arxiv.org/abs/1711.09020） StarGAN可以灵活地将输入图像转换成任何期望的目标域，仅使用一个单一的生成器和鉴别器。

作者

Yunjey Choi、Minje Choi、Munyoung Kim、Jung-Woo Ha, Sung Kim、Jaegul Choo

高丽大学、Clova AI Research (NAVER)、新泽西学院、香港科技大学

结论

1、CelebA的面部属性迁移

这些图像由在CelebA数据集上训练的StarGAN生成。

2、RaFD上的面部表情合成

图像由在RaFD数据集上训练的StarGAN生成。

3、CelebA上的面部表情合成

这些图像由在CelebA和RaFD数据集上训练的StarGAN生成。

模型描述

1、在单个数据集中进行训练

StarGAN的概述包括两个模块，一个鉴别器D和一个生成器G.（a）D学会区分真图像和假图像，并将真实图像分类到相应的域。（b）G作为图像和目标域标签输入，并生成假图像。目标域标签被空间复制并与输入图像连接。（c）G尝试从给定原始域标签的假图像重建原始图像。（d）G试图生成与真实图像不可区分的图像，并由D分类为目标域。

2、使用多个数据集进行训练

StarGAN在与CelebA和RaFD进行训练时的概述。（a）-（d）显示了使用CelebA的训练过程，（e）-（h）显示了使用RaFD的训练过程。（a）、（e）鉴别器D学习区分真图像和假图像，并仅将已知标签的分类误差最小化。（b）、（c）、（f）、（g）当掩码向量（紫色）为[1,0]时，生成器G学会专注于CelebA标签（黄色），忽略RaFD标签（绿色）以执行图像到图像的转换。掩码向量是[0,1]时，反之亦然。（d）、（h）G尝试生成与真实图像无法区分的图像，并且D可以将其分类归属于目标域。

安装环境

Python 2.7或3.5+ （
https://www.continuum.io/downloads）

PyTorch 0.2.0（http://pytorch.org/）

TensorFlow 1.3+（可选tensorboard）
https://www.tensorflow.org/

开始

1.克隆存储库

$ git clone https://github.com/yunjey/StarGAN.git

$ cd StarGAN/

2.下载数据集

（1）CelebA数据集

$ bash download.sh

（2）RaFD数据集

由于RaFD不是公开的数据集，因此你必须首先请求访问RaFD网站（
http://www.socsci.ru.nl:8180/RaFD2/RaFD?p=main）的数据集。然后，你需要创建文件夹结构，如此处所述。（
https://github.com/yunjey/StarGAN/blob/master/png/RaFD.md）

3.训练StarGAN

（1）与CelebA训练

$ python main.py --mode='train' --dataset='CelebA' --c_dim=5 --image_size=128 --num_epochs=20 --num_epochs_decay=10

（2）与RaFD训练

$ python main.py --mode='train' --dataset='Both' --c_dim=5 --c2_dim=8 --image_size=256 --num_iters=200000 --num_iters_decay=100000

4.测试StarGAN

（1）CelebA面部属性迁移

$ python main.py --mode='test' --dataset='CelebA' --c_dim=5 --image_size=256 --test_model=20_1000

（2）RaFD上的面部表情合成

$ python main.py --mode='test' --dataset='RaFD' --c_dim=8 --image_size=256 --test_model=200_200

（3）CelebA上的面部表情合成

$ python main.py --mode='test' --dataset='Both' --c_dim=5 --c2_dim=8 --image_size=256 --test_model=200000

引用

@article{choi2017stargan,

title = {StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation},

author = {Choi, Yunjey and Choi, Minje and Kim, Munyoung and Ha, Jung-Woo and Kim, Sunghun and Choo, Jaegul},

journal= {arXiv preprint arXiv:1711.09020},

Year = {2017}

}

致谢

这项工作主要是在第一作者在Clova AI Research进行研究实习的时候完成的。我们也感谢CLAIR的所有研究人员，特别是Donghyun Kwak的深入讨论。

下载论文：
https://arxiv.org/pdf/1711.09020.pdf

GitHub链接：
https://github.com/yunjey/StarGAN#prerequisites