1.DenoisingAutoencoder

在神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練階段開(kāi)始前，通過(guò)Autoencoder對(duì)模型進(jìn)行預(yù)訓(xùn)練可確定編碼器W的初始參數(shù)值。然而，受模型復(fù)雜度、訓(xùn)練集數(shù)據(jù)量以及數(shù)據(jù)噪音等問(wèn)題的影響，通過(guò)Autoencoder得到的初始模型往往存在過(guò)擬合的風(fēng)險(xiǎn)。關(guān)于Autoencoder的介紹請(qǐng)參考：自動(dòng)編碼器（Autoencoder）。

在介紹DenoisingAutoencoder（降噪自動(dòng)編碼器）之前，我們先來(lái)回顧一下機(jī)器學(xué)習(xí)中的過(guò)擬合的問(wèn)題，如下圖所示，其展示了訓(xùn)練數(shù)據(jù)量和噪音數(shù)量對(duì)模型過(guò)擬合問(wèn)題的影響。圖中紅色區(qū)域表示模型過(guò)擬合，藍(lán)色區(qū)域表示欠擬合，綠色區(qū)域是我們希望得到的模型。從圖中可以看出，當(dāng)訓(xùn)練數(shù)據(jù)越少，數(shù)據(jù)噪音越多時(shí)，模型越容易過(guò)擬合。

在模型的復(fù)雜度和數(shù)據(jù)量都已經(jīng)確定的前提下，防止過(guò)擬合的一種辦法是減少數(shù)據(jù)中的噪音數(shù)量，即對(duì)訓(xùn)練集數(shù)據(jù)做清洗操作。然而，如果我們無(wú)法檢測(cè)并刪除掉數(shù)據(jù)中的噪音。另一種防止過(guò)擬合的辦法就是給數(shù)據(jù)中增加噪音，這看似與之前的結(jié)論矛盾，但卻是增強(qiáng)模型魯棒性的一種有效方式，我們以手寫(xiě)數(shù)字識(shí)別為例，Autoencoder所做的操作是首先對(duì)輸入圖片編碼，經(jīng)過(guò)隱含層后解碼重構(gòu)原始圖片中的數(shù)字信息。假如現(xiàn)在我們輸入的是一副含有一定噪音的圖片，例如圖片中有污點(diǎn)，圖片中的數(shù)字傾斜等，并且我們?nèi)匀幌Ｍ獯a后的圖片是一副干凈正確的圖片，這就需要編碼器不僅有編碼功能，還得有去噪音的作用，通過(guò)這種方式訓(xùn)練出的模型具有更強(qiáng)的魯棒性。

DenoisingAutoencoder（降噪自動(dòng)編碼器）就是在Autoencoder的基礎(chǔ)之上，為了防止過(guò)擬合問(wèn)題而對(duì)輸入的數(shù)據(jù)（網(wǎng)絡(luò)的輸入層）加入噪音，使學(xué)習(xí)得到的編碼器W具有較強(qiáng)的魯棒性，從而增強(qiáng)模型的泛化能力。DenoisingAutoencoder是Bengio在08年提出的，具體內(nèi)容可參考其論文：

Extracting and composing robust features with denoising autoencoders.

論文中關(guān)于DenoisingAutoencoder的示意圖如下，其中x是原始的輸入數(shù)據(jù)，DenoisingAutoencoder以一定概率把輸入層節(jié)點(diǎn)的值置為0，從而得到含有噪音的模型輸入x?。這和dropout很類(lèi)似，不同的是dropout是隱含層中的神經(jīng)元置為0。

Bengio對(duì)DenoisingAutoencoder作出了以下直觀的解釋：

DenoisingAutoencoder與人的感知機(jī)理類(lèi)似，比如人眼看物體時(shí)，如果物體某一小部分被遮住了，人依然能夠?qū)⑵渥R(shí)別出來(lái)。

人在接收到多模態(tài)信息時(shí)（比如聲音，圖像等），少了其中某些模態(tài)的信息有時(shí)也不會(huì)造成太大影響。

Autoencoder的本質(zhì)是學(xué)習(xí)一個(gè)相等函數(shù)，即網(wǎng)絡(luò)的輸入和重構(gòu)后的輸出相等，這種相等函數(shù)的表示有個(gè)缺點(diǎn)就是當(dāng)測(cè)試樣本和訓(xùn)練樣本不符合同一分布，即相差較大時(shí)，效果不好，而DenoisingAutoencoder在這方面的處理有所進(jìn)步。

實(shí)驗(yàn)代碼

MNIST數(shù)據(jù)集的格式與數(shù)據(jù)預(yù)處理代碼input_data.py的講解請(qǐng)參考:Tutorial(2)

實(shí)驗(yàn)代碼如下：