??StyleGAN是目前最先進(jìn)的高分辨率圖像合成方法，它生成的人臉照片一度被認(rèn)為“逼真到嚇人”。12月12日消息，英偉達(dá)的研究人員發(fā)布了升級(jí)版——StyleGAN2，重點(diǎn)修復(fù)特征偽影問(wèn)題，并進(jìn)一步提高了生成圖像的質(zhì)量。

StyleGAN是NVIDIA去年發(fā)布的一個(gè)新的圖像生成方法，并于今年2月開源。

StyleGAN 生成的圖像非常逼真，它是一步一步地生成人工的圖像，從非常低的分辨率開始，一直到高分辨率（1024×1024）。通過(guò)分別地修改網(wǎng)絡(luò)中每個(gè)級(jí)別的輸入，它可以控制在該級(jí)別中所表示的視覺(jué)特征，從粗糙的特征（姿勢(shì)、面部形狀）到精細(xì)的細(xì)節(jié)（頭發(fā)顏色），而不會(huì)影響其它的級(jí)別。

StyleGAN生成的人臉

StyleGAN是目前最先進(jìn)的高分辨率圖像合成方法，已被證明可以在各種數(shù)據(jù)集上可靠地工作。除了逼真的人像，StyleGAN還可以用于生成其他動(dòng)物，汽車甚至房間。

然而，StyleGAN并不完美，最明顯的缺陷是生成的圖像有時(shí)包含斑點(diǎn)似的偽影(artifacts)，而這一缺陷今天也被完美解決了！今天，NVIDIA的研究人員發(fā)布了StyleGAN的升級(jí)版——StyleGAN2，重點(diǎn)修復(fù)artifacts問(wèn)題，并進(jìn)一步提高了生成圖像的質(zhì)量。

主要改進(jìn)包括：

生成的圖像質(zhì)量明顯更好(FID分?jǐn)?shù)更高、artifacts減少)

提出替代progressive growing的新方法，牙齒、眼睛等細(xì)節(jié)更完美

改善了Style-mixing

更平滑的插值(額外的正則化)

訓(xùn)練速度更快

英偉達(dá)StyleGAN2

重新設(shè)計(jì)StyleGAN圖像合成網(wǎng)絡(luò)

StyleGAN的顯著特點(diǎn)是其非常規(guī)的生成器架構(gòu)。映射網(wǎng)絡(luò) f 不僅將輸入的latent code z∈Z輸入到網(wǎng)絡(luò)的開頭，而且還先將它轉(zhuǎn)換成一個(gè)中間latent code w ∈ W。仿射變換(affine transforms)隨后產(chǎn)生樣式(styles)，通過(guò)adaptive instance normalization(AdaIN)控制合成網(wǎng)絡(luò) g 的層。

在本研究中，我們將所有的分析都集中在W上，因?yàn)閺暮铣删W(wǎng)絡(luò)的角度來(lái)看，W是相關(guān)的潛在空間。

許多人已經(jīng)注意到StyleGAN生成的圖像中的特征偽影。本研究確定了這些偽影的兩個(gè)原因，并描述了如何通過(guò)改變架構(gòu)和訓(xùn)練方法消除它們。

圖1：Instance normalization會(huì)導(dǎo)致StyleGAN生成的圖像中出現(xiàn)斑點(diǎn)狀的偽影

首先，我們研究了常見的斑點(diǎn)狀artifacts的起源，并發(fā)現(xiàn)生成器創(chuàng)建它們是為了規(guī)避其架構(gòu)中的設(shè)計(jì)缺陷。我們重新設(shè)計(jì)了生成器中使用的normalization，從而刪除了artifacts。

其次，我們分析了與progressive growing 相關(guān)的artifacts，progressive growing在穩(wěn)定高分辨率GAN訓(xùn)練方面非常成功。我們提出了一種替代的設(shè)計(jì)，可以達(dá)到同樣的目的——訓(xùn)練開始時(shí)集中在低分辨率的圖像上，然后逐步地將注意力轉(zhuǎn)移到越來(lái)越高的分辨率上——在訓(xùn)練過(guò)程中不改變網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。這種新的設(shè)計(jì)還允許我們對(duì)生成圖像的有效分辨率進(jìn)行推理，其結(jié)果比預(yù)期的要低，從而激發(fā)我們可以設(shè)計(jì)更大容量的模型。

圖2：重新設(shè)計(jì)了StyleGAN圖像合成網(wǎng)絡(luò)

如圖2所示，(a)是原始的StyleGAN，其中A表示從W學(xué)習(xí)的仿射變換，產(chǎn)生了一個(gè)style；(b)展示了原始StyleGAN架構(gòu)的細(xì)節(jié)。在這里，我們將AdaIN分解為先顯式歸一化再調(diào)制的模式，對(duì)每個(gè)特征圖的均值和標(biāo)準(zhǔn)差進(jìn)行操作。我們還注釋了學(xué)習(xí)的權(quán)重(w)、偏差(b)和常量輸入(c)，并重新繪制了灰色框，使每個(gè)框都激活一個(gè)style。激活函數(shù)(leaky ReLU)總是在添加偏置后立即應(yīng)用。如(c)所示，我們對(duì)原始架構(gòu)做了幾處改動(dòng)，包括在開始時(shí)刪除了一些冗余操作，將b和B的添加移動(dòng)到style的活動(dòng)區(qū)域之外，并只調(diào)整每個(gè)feature map的標(biāo)準(zhǔn)差。(d)是修改后的架構(gòu)，使我們能夠用“demodulation”操作代替 instance normalization，我們將demodulation操作應(yīng)用于與每個(gè)卷積層相關(guān)的權(quán)重。

圖3：用demodulation替代instance normalization，可以去除圖像和激活中的特征偽影。

如圖3所示，重新設(shè)計(jì)的StyleGAN2架構(gòu)消除了特征偽影，同時(shí)保留了完全的可控性。

對(duì)GAN生成的圖像質(zhì)量進(jìn)行定量分析仍然是一個(gè)具有挑戰(zhàn)性的課題。Frechet inception distance (FID)測(cè)量了InceptionV3分類器的高維特征空間中兩種分布密度的差異。Precision和Recall (P&R)通過(guò)明確量化生成的與訓(xùn)練數(shù)據(jù)相似的圖像的百分比和可以生成的訓(xùn)練數(shù)據(jù)的百分比，提供了額外的可見性。我們使用這些指標(biāo)來(lái)量化StyleGAN2的改進(jìn)。

FID基本不受影響(表1，行A, B)，但是有一個(gè)顯著的變化，從precision到FID有顯著的變化。

FID和P&R都基于分類器網(wǎng)絡(luò)，最近的研究表明，分類器網(wǎng)絡(luò)側(cè)重于紋理而不是形狀，因此，這些指標(biāo)不能準(zhǔn)確地代表圖像質(zhì)量的所有方面。我們將感知路徑長(zhǎng)度(PPL)指標(biāo)作為一種估計(jì)潛在空間插值質(zhì)量的方法，該指標(biāo)與形狀的一致性和穩(wěn)定性相關(guān)。在此基礎(chǔ)上，我們將合成網(wǎng)絡(luò)正則化，以支持平滑映射，并獲得明顯的質(zhì)量改進(jìn)。為了抵消計(jì)算開銷，我們還建議減小執(zhí)行所有正則化的頻率，因?yàn)檫@樣做不會(huì)影響效率。

新方法替代Progressive growing，細(xì)節(jié)更完美

Progressive growing已被證明在穩(wěn)定高分辨率圖像合成方面非常成功，但它會(huì)產(chǎn)生自己的特征偽影。

關(guān)鍵問(wèn)題在于，漸進(jìn)式增長(zhǎng)的生成器在細(xì)節(jié)上似乎有很強(qiáng)的位置偏好，例如，當(dāng)牙齒或眼睛等特征在圖像上平滑移動(dòng)時(shí)，它們可能會(huì)停留在原來(lái)的位置，然后跳到下一個(gè)首選位置。

圖6顯示了一個(gè)相關(guān)的artifact。我們認(rèn)為問(wèn)題在于，在progressive growing 中，每個(gè)分辨率暫時(shí)充當(dāng)輸出分辨率，迫使它產(chǎn)生最大的頻率細(xì)節(jié)，從而導(dǎo)致訓(xùn)練后的網(wǎng)絡(luò)在中間層頻率過(guò)高，犧牲了平移不變性。

圖6：Progressive growing導(dǎo)致了 “phase” artifact。在這個(gè)例子中，牙齒沒(méi)有跟隨姿勢(shì)變化，臉轉(zhuǎn)向了一側(cè)，牙齒仍面向正前方，如藍(lán)線所示。

為了解決這些問(wèn)題，我們提出一種替代的方法，在保留progressive growing優(yōu)勢(shì)的同時(shí)消除了缺陷。

雖然StyleGAN在生成器(合成網(wǎng)絡(luò))和鑒別器中使用簡(jiǎn)單的前饋設(shè)計(jì)，但仍有大量工作致力于研究更好的網(wǎng)絡(luò)架構(gòu)。特別是，skip connections [34, 22], 殘差網(wǎng)絡(luò) [17, 16, 31]和分層方法 [7, 46, 47]，這些方法已經(jīng)被證明是非常成功的。因此，我們決定重新評(píng)估StyleGAN的網(wǎng)絡(luò)設(shè)計(jì)，并尋找一種能夠生成高質(zhì)量圖像而不需要progressive growing的架構(gòu)。

圖7：三種生成器(虛線上面)和鑒別器架構(gòu)。

圖7a展示了MSG-GAN[22]，它使用多個(gè)skip connections連接生成器和鑒別器的匹配分辨率。

在圖7b中，我們通過(guò)對(duì)不同分辨率對(duì)應(yīng)的RGB輸出進(jìn)行向上采樣和求和來(lái)簡(jiǎn)化這種設(shè)計(jì)。在鑒別器中，我們同樣向鑒別器的每個(gè)分辨率塊提供下采樣圖像。我們?cè)谒猩喜蓸雍拖虏蓸硬僮髦卸际褂昧穗p線性濾波。

在圖7c中，我們進(jìn)一步修改了設(shè)計(jì)，以使用殘差連接。這種設(shè)計(jì)類似于LAPGAN[7]。

表2比較了三種生成器和鑒別器架構(gòu)：用于StyleGAN、skip connections和殘差網(wǎng)絡(luò)的原始前饋網(wǎng)絡(luò)，它們都經(jīng)過(guò)了訓(xùn)練，但沒(méi)有采用progressive growing。

表2：沒(méi)有采用progressive growing的生成器和鑒別器結(jié)構(gòu)的比較。

對(duì)于這9種組合，每一種都提供了FID和PPL結(jié)果。我們可以看到兩個(gè)大的趨勢(shì)：生成器的skip connections 大大改善了所有配置的PPL，而殘差鑒別器網(wǎng)絡(luò)顯然有利于FID。

StyleGAN2使用了一個(gè)skip generator和一個(gè)殘差鑒別器，但沒(méi)有使用progressive growing。這對(duì)應(yīng)于表1中的配置E，從表中可以看出，切換到這種設(shè)置顯著地改進(jìn)了FID和PPL。

最后，我們發(fā)現(xiàn)使用新的路徑長(zhǎng)度正則化生成器將圖像投影到潛在空間W上的效果明顯優(yōu)于原始StyleGAN。