過去雖然沒有細看，但印象里一直覺得變分自編碼器（VariationalAuto-Encoder，VAE）是個好東西。趁著最近看概率圖模型的三分鐘熱度，我決定也爭取把VAE搞懂。

于是乎照樣翻了網上很多資料，無一例外發(fā)現都很含糊，主要的感覺是公式寫了一大通，還是迷迷糊糊的，最后好不容易覺得看懂了，再去看看實現的代碼，又感覺實現代碼跟理論完全不是一回事啊。

終于，東拼西湊再加上我這段時間對概率模型的一些積累，并反復對比原論文Auto-EncodingVariationalBayes，最后我覺得我應該是想明白了。

其實真正的VAE，跟很多教程說的的還真不大一樣，很多教程寫了一大通，都沒有把模型的要點寫出來。于是寫了這篇東西，希望通過下面的文字，能把VAE初步講清楚。

分布變換

通常我們會拿VAE跟GAN比較，的確，它們兩個的目標基本是一致的——希望構建一個從隱變量Z生成目標數據X的模型，但是實現上有所不同。

更準確地講，它們是假設了服從某些常見的分布（比如正態(tài)分布或均勻分布），然后希望訓練一個模型X=g(Z)，這個模型能夠將原來的概率分布映射到訓練集的概率分布，也就是說，它們的目的都是進行分布之間的變換。

生成模型的難題就是判斷生成分布與真實分布的相似度，因為我們只知道兩者的采樣結果，不知道它們的分布表達式。

那現在假設服從標準的正態(tài)分布，那么我就可以從中采樣得到若干個Z1,Z2,…,Zn，然后對它做變換得到X?1=g(Z1),X?2=g(Z2),…,X?n=g(Zn)，我們怎么判斷這個通過f構造出來的數據集，它的分布跟我們目標的數據集分布是不是一樣的呢？

有讀者說不是有KL散度嗎？當然不行，因為KL散度是根據兩個概率分布的表達式來算它們的相似度的，然而目前我們并不知道它們的概率分布的表達式。

我們只有一批從構造的分布采樣而來的數據{X?1,X?2,…,X?n}，還有一批從真實的分布采樣而來的數據{X1,X2,…,Xn}（也就是我們希望生成的訓練集）。我們只有樣本本身，沒有分布表達式，當然也就沒有方法算KL散度。

雖然遇到困難，但還是要想辦法解決的。GAN的思路很直接粗獷：既然沒有合適的度量，那我干脆把這個度量也用神經網絡訓練出來吧。

就這樣，WGAN就誕生了，詳細過程請參考互懟的藝術：從零直達WGAN-GP。而VAE則使用了一個精致迂回的技巧。

VAE慢談

這一部分我們先回顧一般教程是怎么介紹VAE的，然后再探究有什么問題，接著就自然地發(fā)現了VAE真正的面目。

經典回顧

首先我們有一批數據樣本{X1,…,Xn}，其整體用X來描述，我們本想根據{X1,…,Xn}得到X的分布p(X)，如果能得到的話，那我直接根據p(X)來采樣，就可以得到所有可能的X了（包括{X1,…,Xn}以外的），這是一個終極理想的生成模型了。

當然，這個理想很難實現，于是我們將分布改一改：

這里我們就不區(qū)分求和還是求積分了，意思對了就行。此時p(X|Z)就描述了一個由Z來生成X的模型，而我們假設Z服從標準正態(tài)分布，也就是p(Z)=N(0,I)。如果這個理想能實現，那么我們就可以先從標準正態(tài)分布中采樣一個Z，然后根據Z來算一個X，也是一個很棒的生成模型。

接下來就是結合自編碼器來實現重構，保證有效信息沒有丟失，再加上一系列的推導，最后把模型實現。框架的示意圖如下：

▲VAE的傳統理解

看出了什么問題了嗎？如果像這個圖的話，我們其實完全不清楚：究竟經過重新采樣出來的Zk，是不是還對應著原來的Xk，所以我們如果直接最小化D(X?k,Xk)^2（這里D代表某種距離函數）是很不科學的，而事實上你看代碼也會發(fā)現根本不是這樣實現的。

也就是說，很多教程說了一大通頭頭是道的話，然后寫代碼時卻不是按照所寫的文字來寫，可是他們也不覺得這樣會有矛盾。

VAE初現

其實，在整個VAE模型中，我們并沒有去使用p(Z)（先驗分布）是正態(tài)分布的假設，我們用的是假設p(Z|X)（后驗分布）是正態(tài)分布。

具體來說，給定一個真實樣本Xk，我們假設存在一個專屬于Xk的分布p(Z|Xk)（學名叫后驗分布），并進一步假設這個分布是（獨立的、多元的）正態(tài)分布。

為什么要強調“專屬”呢？因為我們后面要訓練一個生成器X=g(Z)，希望能夠把從分布p(Z|Xk)采樣出來的一個Zk還原為Xk。

如果假設p(Z)是正態(tài)分布，然后從p(Z)中采樣一個Z，那么我們怎么知道這個Z對應于哪個真實的X呢？現在p(Z|Xk)專屬于Xk，我們有理由說從這個分布采樣出來的Z應該要還原到Xk中去。

事實上，在論文Auto-Encoding Variational Bayes的應用部分，也特別強調了這一點：

In this case, we can let the variational approximate posterior be a multivariate Gaussian with a diagonal covariance structure:

論文中的式(9)是實現整個模型的關鍵，不知道為什么很多教程在介紹VAE時都沒有把它凸顯出來。盡管論文也提到p(Z)是標準正態(tài)分布，然而那其實并不是本質重要的。

再次強調，這時候每一個Xk都配上了一個專屬的正態(tài)分布，才方便后面的生成器做還原。但這樣有多少個X就有多少個正態(tài)分布了。我們知道正態(tài)分布有兩組參數：均值μ和方差σ^2（多元的話，它們都是向量）。

那我怎么找出專屬于Xk的正態(tài)分布p(Z|Xk)的均值和方差呢？好像并沒有什么直接的思路。

那好吧，我就用神經網絡來擬合出來。這就是神經網絡時代的哲學：難算的我們都用神經網絡來擬合，在WGAN那里我們已經體驗過一次了，現在再次體驗到了。

于是我們構建兩個神經網絡μk=f1(Xk)，logσ^2=f2(Xk)來算它們了。我們選擇擬合logσ^2而不是直接擬合σ^2，是因為σ^2總是非負的，需要加激活函數處理，而擬合logσ^2不需要加激活函數，因為它可正可負。

到這里，我能知道專屬于Xk的均值和方差了，也就知道它的正態(tài)分布長什么樣了，然后從這個專屬分布中采樣一個Zk出來，然后經過一個生成器得到X?k=g(Zk)。

現在我們可以放心地最小化D(X?k,Xk)^2，因為Zk是從專屬Xk的分布中采樣出來的，這個生成器應該要把開始的Xk還原回來。于是可以畫出VAE的示意圖：

事實上，VAE是為每個樣本構造專屬的正態(tài)分布，然后采樣來重構。

分布標準化

讓我們來思考一下，根據上圖的訓練過程，最終會得到什么結果。

首先，我們希望重構X，也就是最小化D(X?k,Xk)^2，但是這個重構過程受到噪聲的影響，因為Zk是通過重新采樣過的，不是直接由encoder算出來的。

顯然噪聲會增加重構的難度，不過好在這個噪聲強度（也就是方差）通過一個神經網絡算出來的，所以最終模型為了重構得更好，肯定會想盡辦法讓方差為0。

而方差為0的話，也就沒有隨機性了，所以不管怎么采樣其實都只是得到確定的結果（也就是均值），只擬合一個當然比擬合多個要容易，而均值是通過另外一個神經網絡算出來的。

說白了，模型會慢慢退化成普通的AutoEncoder，噪聲不再起作用。

這樣不就白費力氣了嗎？說好的生成模型呢？

別急別急，其實VAE還讓所有的p(Z|X)都向標準正態(tài)分布看齊，這樣就防止了噪聲為零，同時保證了模型具有生成能力。

怎么理解“保證了生成能力”呢？如果所有的p(Z|X)都很接近標準正態(tài)分布N(0,I)，那么根據定義：

這樣我們就能達到我們的先驗假設：p(Z)是標準正態(tài)分布。然后我們就可以放心地從N(0,I)中采樣來生成圖像了。

為了使模型具有生成能力，VAE要求每個p(Z_X)都向正態(tài)分布看齊。

那怎么讓所有的p(Z|X)都向N(0,I)看齊呢？如果沒有外部知識的話，其實最直接的方法應該是在重構誤差的基礎上中加入額外的loss：

因為它們分別代表了均值μk和方差的對數logσ^2，達到N(0,I)就是希望二者盡量接近于0了。不過，這又會面臨著這兩個損失的比例要怎么選取的問題，選取得不好，生成的圖像會比較模糊。

所以，原論文直接算了一般（各分量獨立的）正態(tài)分布與標準正態(tài)分布的KL散度KL(N(μ,σ^2)‖N(0,I))作為這個額外的loss，計算結果為：

這里的d是隱變量Z的維度，而μ(i)和σ_{(i)}^{2}分別代表一般正態(tài)分布的均值向量和方差向量的第i個分量。直接用這個式子做補充loss，就不用考慮均值損失和方差損失的相對比例問題了。

顯然，這個loss也可以分兩部分理解：

推導

由于我們考慮的是各分量獨立的多元正態(tài)分布，因此只需要推導一元正態(tài)分布的情形即可，根據定義我們可以寫出：

整個結果分為三項積分，第一項實際上就是?logσ^2乘以概率密度的積分（也就是1），所以結果是?logσ^2；第二項實際是正態(tài)分布的二階矩，熟悉正態(tài)分布的朋友應該都清楚正態(tài)分布的二階矩為μ^2+σ^2；而根據定義，第三項實際上就是“-方差除以方差=-1”。所以總結果就是：

重參數技巧

最后是實現模型的一個技巧，英文名是ReparameterizationTrick，我這里叫它做重參數吧。

▲重參數技巧

其實很簡單，就是我們要從p(Z|Xk)中采樣一個Zk出來，盡管我們知道了p(Z|Xk)是正態(tài)分布，但是均值方差都是靠模型算出來的，我們要靠這個過程反過來優(yōu)化均值方差的模型，但是“采樣”這個操作是不可導的，而采樣的結果是可導的，于是我們利用了一個事實：

所以，我們將從N(μ,σ^2)采樣變成了從N(μ,σ^2)中采樣，然后通過參數變換得到從N(μ,σ^2)中采樣的結果。這樣一來，“采樣”這個操作就不用參與梯度下降了，改為采樣的結果參與，使得整個模型可訓練了。

具體怎么實現，大家把上述文字對照著代碼看一下，一下子就明白了。

后續(xù)分析

即便把上面的所有內容都搞清楚了，面對VAE，我們可能還存有很多疑問。

本質是什么

VAE的本質是什么？VAE雖然也稱是AE（AutoEncoder）的一種，但它的做法（或者說它對網絡的詮釋）是別具一格的。

在VAE中，它的Encoder有兩個，一個用來計算均值，一個用來計算方差，這已經讓人意外了：Encoder不是用來Encode的，是用來算均值和方差的，這真是大新聞了，還有均值和方差不都是統計量嗎，怎么是用神經網絡來算的？

事實上，我覺得VAE從讓普通人望而生畏的變分和貝葉斯理論出發(fā)，最后落地到一個具體的模型中，雖然走了比較長的一段路，但最終的模型其實是很接地氣的。

它本質上就是在我們常規(guī)的自編碼器的基礎上，對encoder的結果（在VAE中對應著計算均值的網絡）加上了“高斯噪聲”，使得結果decoder能夠對噪聲有魯棒性；而那個額外的KLloss（目的是讓均值為0，方差為1），事實上就是相當于對encoder的一個正則項，希望encoder出來的東西均有零均值。

那另外一個encoder（對應著計算方差的網絡）的作用呢？它是用來動態(tài)調節(jié)噪聲的強度的。

直覺上來想，當decoder還沒有訓練好時（重構誤差遠大于KLloss），就會適當降低噪聲（KLloss增加），使得擬合起來容易一些（重構誤差開始下降）。

反之，如果decoder訓練得還不錯時（重構誤差小于KLloss），這時候噪聲就會增加（KLloss減少），使得擬合更加困難了（重構誤差又開始增加），這時候decoder就要想辦法提高它的生成能力了。

▲VAE的本質結構

說白了，重構的過程是希望沒噪聲的，而KLloss則希望有高斯噪聲的，兩者是對立的。所以，VAE跟GAN一樣，內部其實是包含了一個對抗的過程，只不過它們兩者是混合起來，共同進化的。

從這個角度看，VAE的思想似乎還高明一些，因為在GAN中，造假者在進化時，鑒別者是安然不動的，反之亦然。當然，這只是一個側面，不能說明VAE就比GAN好。

GAN真正高明的地方是：它連度量都直接訓練出來了，而且這個度量往往比我們人工想的要好（然而GAN本身也有各種問題，這就不展開了）。

正態(tài)分布？

對于p(Z|X)的分布，讀者可能會有疑惑：是不是必須選擇正態(tài)分布？可以選擇均勻分布嗎？

首先，這個本身是一個實驗問題，兩種分布都試一下就知道了。但是從直覺上來講，正態(tài)分布要比均勻分布更加合理，因為正態(tài)分布有兩組獨立的參數：均值和方差，而均勻分布只有一組。

前面我們說，在VAE中，重構跟噪聲是相互對抗的，重構誤差跟噪聲強度是兩個相互對抗的指標，而在改變噪聲強度時原則上需要有保持均值不變的能力，不然我們很難確定重構誤差增大了，究竟是均值變化了（encoder的鍋）還是方差變大了（噪聲的鍋）。

而均勻分布不能做到保持均值不變的情況下改變方差，所以正態(tài)分布應該更加合理。

變分在哪里

還有一個有意思（但不大重要）的問題是：VAE叫做“變分自編碼器”，它跟變分法有什么聯系？在VAE的論文和相關解讀中，好像也沒看到變分法的存在？

其實如果讀者已經承認了KL散度的話，那VAE好像真的跟變分沒多大關系了，因為KL散度的定義是：

如果是離散概率分布就要寫成求和，我們要證明：已概率分布p(x)（或固定q(x)）的情況下，對于任意的概率分布q(x)（或p(x)），都有KLp(x)‖q(x))≥0，而且只有當p(x)=q(x)時才等于零。

因為KL(p(x)‖q(x))實際上是一個泛函，要對泛函求極值就要用到變分法，當然，這里的變分法只是普通微積分的平行推廣，還沒涉及到真正復雜的變分法。而VAE的變分下界，是直接基于KL散度就得到的。所以直接承認了KL散度的話，就沒有變分的什么事了。

一句話，VAE的名字中“變分”，是因為它的推導過程用到了KL散度及其性質。

條件VAE

最后，因為目前的VAE是無監(jiān)督訓練的，因此很自然想到：如果有標簽數據，那么能不能把標簽信息加進去輔助生成樣本呢？

這個問題的意圖，往往是希望能夠實現控制某個變量來實現生成某一類圖像。當然，這是肯定可以的，我們把這種情況叫做ConditionalVAE，或者叫CVAE（相應地，在GAN中我們也有個CGAN）。

但是，CVAE不是一個特定的模型，而是一類模型，總之就是把標簽信息融入到VAE中的方式有很多，目的也不一樣。這里基于前面的討論，給出一種非常簡單的VAE。

▲一個簡單的CVAE結構

在前面的討論中，我們希望X經過編碼后，Z的分布都具有零均值和單位方差，這個“希望”是通過加入了KLloss來實現的。

如果現在多了類別信息Y，我們可以希望同一個類的樣本都有一個專屬的均值μ^Y（方差不變，還是單位方差），這個μ^Y讓模型自己訓練出來。

這樣的話，有多少個類就有多少個正態(tài)分布，而在生成的時候，我們就可以通過控制均值來控制生成圖像的類別。

事實上，這樣可能也是在VAE的基礎上加入最少的代碼來實現CVAE的方案了，因為這個“新希望”也只需通過修改KLloss實現：

下圖顯示這個簡單的CVAE是有一定的效果的，不過因為encoder和decoder都比較簡單（純MLP），所以控制生成的效果不盡完美。

用這個CVAE控制生成數字9，可以發(fā)現生成了多種樣式的9，并且慢慢向7過渡，所以初步觀察這種CVAE是有效的。

更完備的CVAE請讀者自行學習了，最近還出來了CVAE與GAN結合的工作CVAE-GAN:Fine-GrainedImageGenerationthroughAsymmetricTraining，模型套路千變萬化。