关于GAN的灵魂七问

除了图像到图像的转换和领域的自适应等应用外，大多数 GAN 的成功应用都在图像合成中。而 GAN 在图像外的探索主要分为三个领域：

• 文本：文本的离散属性使其很难应用 GAN。因为 GAN 会依赖判别器的梯度信号，且它会通过生成内容反向传播给生成器，所以离散的字符难以更新。目前有两种方法解决这个困难，第一种是令 GAN 只对离散数据的连续表征起作用，第二种则是用梯度估计和实际离散的模型来训练 GAN。
• 结构化数据：GAN 能用于其它非欧氏空间的结构化数据(例如图)吗?这类数据的研究被称为几何深度学习。GAN 在这个领域的进展也不是非常显著，但其它深度学习方法取得的进步也比较有限，因此很难说是 GAN 自身的问题。
• 音频：音频是 GAN 除了图像外最成功的领域，将 GAN 应用于无监督音频合成是第一次严格的尝试，研究人员对各种实际音频操作做出了特殊的限制。

除了这些领域的尝试，图像一直是应用 GAN 最简单的领域，这就会引起一些问题：

我们最终希望 GAN 能在其它连续数据上获得类似图像合成方面的成功，但它需要更好的隐式先验知识。寻找这些先验可能需要仔细思考到底哪些特征才是有意义的，并且领域中的哪些特征是可计算的。

对于结构化数据或离散数据，我们暂时还没有比较好的解决方案。一种方法可能是令生成器和判别器都采用强化学习的智能体，并以 RL 的方式进行训练。但这样又需要大量计算资源，这个问题可能还是需要基础研究的进展。

我们该如何评估 GAN 的好坏，什么时候又该使用 GAN 这种生成模型?

说到评估 GAN，目前有很多方法，但是并没有一种统一的度量方法：

• Inception Score 和 FID：这两个分数都使用预训练的图像分类器，都存在已知问题。常见的批评是这些分数测量「样本质量」而没有真正捕获「样本多样性」。
• MS-SSIM：可以使用 MS-SSIM 单独评估多样性，但该技术也存在一些问题，并没有真正流行起来。
• AIS：它建议在 GAN 的输出上应用高斯观测值模型(Gaussian observation)，并使用退火重要性采样来评估该模型下的对数似然。但事实证明，当 GAN 生成器也是流模型时，这种计算方式并不准确。
• 几何分数：这种方法建议计算生成数据流形的几何属性，并将这些属性与真实数据进行比较。
• 精度和召回率：该方法尝试计算 GAN 的精度和召回率。
• 技能评级：该方法以证明，训练好的 GAN 判别器能够包含用来评估的有用信息。

这些还只是一小部分 GAN 评估方案。虽然 Inception Score 和 FID 相对比较流行，但 GAN 评估显然还不是一个确定性问题。最终，我们认为关于如何评估 GAN 的困惑源于何时使用 GAN。因此，我们将这两个问题合二为一：

我们应该用 GAN 来做什么?如果你想要真正的密集型模型，GAN 可能不是最好的选择。已有实验表明，GAN 学习了目标数据集的「low support」表征，这意味着 GAN(隐式地)将测试集的大部分分配为零似然度。

我们没有太担心这一点，而是将 GAN 研究的重点放在支撑集没问题甚至有帮助的任务上。GAN 可能很适合感知性的任务，如图像合成、图像转换、图像修复和属性操作等图形应用。

最后，虽然花费巨大，但也可以通过人力进行评估，这使得我们可以测量那些真正在乎的东西。通过建模预测人类答案，可以减少这种方法的成本。

如何扩展训练 GAN 的批量大小?

大的 minibatch 已经帮助扩展了图像分类任务——这些 minibatch 能帮助我们扩展 GAN 吗?对于有效地使用高度并行硬件加速器，大的 minibatch 可能非常重要。

乍一看，答案好像是肯定的——毕竟，多数 GAN 中的判别器只是个图像分类器而已。如果梯度噪声成为瓶颈，大的批量可以加速训练。然而，GAN 有一个分类器没有的独特瓶颈：训练步骤可能存在差异。因此，我们提出以下问题：

有证据表明，提高 minibatch 大小可以改进量化结果并减少训练时间。如果这一现象是鲁棒的，说明梯度噪声是非常重要的一个因素。然而，这一结论还没有得到系统性的验证，因此我们相信这一问题还有待解答。

交替训练步骤能否更好地利用大批量?理论上来看，最优传输 GAN 比一般 GAN 具有更好的收敛性，但需要一个大的批量，因为这种 GAN 需要对齐样本和训练数据批量。因此，最优传输 GAN 似乎是扩展到非常大的批量的潜在候选方法。

最后，异步 SGD 可以成为利用新硬件的不错备选项。在这种设定下，限制因素往往是：梯度更新是在参数的「陈旧」副本上计算的。但 GAN 实际上似乎是从在过去参数快照(snapshots)上进行的训练中获益，所以我们可能会问，异步 SGD 是否以一种特殊的方式与 GAN 训练交互。

GAN 和对抗样本之间有什么关系?

众所周知，对抗样本是图像分类任务需要克服的一大难题：人类难以察觉的干扰可以导致分类器给出错误的输出。我们还知道，有些分类问题通常可以有效学习，但鲁棒地学习却极其困难。

（编辑：通化站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!