技術(shù)頻道

娓娓工業(yè)
您現(xiàn)在的位置: 中國(guó)傳動(dòng)網(wǎng) > 技術(shù)頻道 > 技術(shù)百科 > 降噪自動(dòng)編碼器(Denoising Autoencoder)

降噪自動(dòng)編碼器(Denoising Autoencoder)

時(shí)間:2018-06-05 16:16:47來(lái)源:Joe-Han

導(dǎo)語(yǔ):?在神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練階段開(kāi)始前,通過(guò)Autoencoder對(duì)模型進(jìn)行預(yù)訓(xùn)練可確定編碼器W的初始參數(shù)值。然而,受模型復(fù)雜度、訓(xùn)練集數(shù)據(jù)量以及數(shù)據(jù)噪音等問(wèn)題的影響,通過(guò)Autoencoder得到的初始模型往往存在過(guò)擬合的風(fēng)險(xiǎn)。關(guān)于Autoencoder的介紹請(qǐng)參考:自動(dòng)編碼器

1.DenoisingAutoencoder

在神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練階段開(kāi)始前,通過(guò)Autoencoder對(duì)模型進(jìn)行預(yù)訓(xùn)練可確定編碼器W的初始參數(shù)值。然而,受模型復(fù)雜度、訓(xùn)練集數(shù)據(jù)量以及數(shù)據(jù)噪音等問(wèn)題的影響,通過(guò)Autoencoder得到的初始模型往往存在過(guò)擬合的風(fēng)險(xiǎn)。關(guān)于Autoencoder的介紹請(qǐng)參考:自動(dòng)編碼器(Autoencoder)。

在介紹DenoisingAutoencoder(降噪自動(dòng)編碼器)之前,我們先來(lái)回顧一下機(jī)器學(xué)習(xí)中的過(guò)擬合的問(wèn)題,如下圖所示,其展示了訓(xùn)練數(shù)據(jù)量和噪音數(shù)量對(duì)模型過(guò)擬合問(wèn)題的影響。圖中紅色區(qū)域表示模型過(guò)擬合,藍(lán)色區(qū)域表示欠擬合,綠色區(qū)域是我們希望得到的模型。從圖中可以看出,當(dāng)訓(xùn)練數(shù)據(jù)越少,數(shù)據(jù)噪音越多時(shí),模型越容易過(guò)擬合。

在模型的復(fù)雜度和數(shù)據(jù)量都已經(jīng)確定的前提下,防止過(guò)擬合的一種辦法是減少數(shù)據(jù)中的噪音數(shù)量,即對(duì)訓(xùn)練集數(shù)據(jù)做清洗操作。然而,如果我們無(wú)法檢測(cè)并刪除掉數(shù)據(jù)中的噪音。另一種防止過(guò)擬合的辦法就是給數(shù)據(jù)中增加噪音,這看似與之前的結(jié)論矛盾,但卻是增強(qiáng)模型魯棒性的一種有效方式,我們以手寫(xiě)數(shù)字識(shí)別為例,Autoencoder所做的操作是首先對(duì)輸入圖片編碼,經(jīng)過(guò)隱含層后解碼重構(gòu)原始圖片中的數(shù)字信息。假如現(xiàn)在我們輸入的是一副含有一定噪音的圖片,例如圖片中有污點(diǎn),圖片中的數(shù)字傾斜等,并且我們?nèi)匀幌M獯a后的圖片是一副干凈正確的圖片,這就需要編碼器不僅有編碼功能,還得有去噪音的作用,通過(guò)這種方式訓(xùn)練出的模型具有更強(qiáng)的魯棒性。

DenoisingAutoencoder(降噪自動(dòng)編碼器)就是在Autoencoder的基礎(chǔ)之上,為了防止過(guò)擬合問(wèn)題而對(duì)輸入的數(shù)據(jù)(網(wǎng)絡(luò)的輸入層)加入噪音,使學(xué)習(xí)得到的編碼器W具有較強(qiáng)的魯棒性,從而增強(qiáng)模型的泛化能力。DenoisingAutoencoder是Bengio在08年提出的,具體內(nèi)容可參考其論文:

Extracting and composing robust features with denoising autoencoders.

論文中關(guān)于DenoisingAutoencoder的示意圖如下,其中x是原始的輸入數(shù)據(jù),DenoisingAutoencoder以一定概率把輸入層節(jié)點(diǎn)的值置為0,從而得到含有噪音的模型輸入x?。這和dropout很類(lèi)似,不同的是dropout是隱含層中的神經(jīng)元置為0。

Bengio對(duì)DenoisingAutoencoder作出了以下直觀的解釋:

DenoisingAutoencoder與人的感知機(jī)理類(lèi)似,比如人眼看物體時(shí),如果物體某一小部分被遮住了,人依然能夠?qū)⑵渥R(shí)別出來(lái)。

人在接收到多模態(tài)信息時(shí)(比如聲音,圖像等),少了其中某些模態(tài)的信息有時(shí)也不會(huì)造成太大影響。

Autoencoder的本質(zhì)是學(xué)習(xí)一個(gè)相等函數(shù),即網(wǎng)絡(luò)的輸入和重構(gòu)后的輸出相等,這種相等函數(shù)的表示有個(gè)缺點(diǎn)就是當(dāng)測(cè)試樣本和訓(xùn)練樣本不符合同一分布,即相差較大時(shí),效果不好,而DenoisingAutoencoder在這方面的處理有所進(jìn)步。

實(shí)驗(yàn)代碼

MNIST數(shù)據(jù)集的格式與數(shù)據(jù)預(yù)處理代碼input_data.py的講解請(qǐng)參考:Tutorial(2)

實(shí)驗(yàn)代碼如下:

標(biāo)簽:

點(diǎn)贊

分享到:

上一篇:環(huán)境壓力/離合器位置/制動(dòng)踏...

下一篇:面向智能制造的MES與傳統(tǒng)的ME...

中國(guó)傳動(dòng)網(wǎng)版權(quán)與免責(zé)聲明:凡本網(wǎng)注明[來(lái)源:中國(guó)傳動(dòng)網(wǎng)]的所有文字、圖片、音視和視頻文件,版權(quán)均為中國(guó)傳動(dòng)網(wǎng)(m.u63ivq3.com)獨(dú)家所有。如需轉(zhuǎn)載請(qǐng)與0755-82949061聯(lián)系。任何媒體、網(wǎng)站或個(gè)人轉(zhuǎn)載使用時(shí)須注明來(lái)源“中國(guó)傳動(dòng)網(wǎng)”,違反者本網(wǎng)將追究其法律責(zé)任。

本網(wǎng)轉(zhuǎn)載并注明其他來(lái)源的稿件,均來(lái)自互聯(lián)網(wǎng)或業(yè)內(nèi)投稿人士,版權(quán)屬于原版權(quán)人。轉(zhuǎn)載請(qǐng)保留稿件來(lái)源及作者,禁止擅自篡改,違者自負(fù)版權(quán)法律責(zé)任。

網(wǎng)站簡(jiǎn)介|會(huì)員服務(wù)|聯(lián)系方式|幫助信息|版權(quán)信息|網(wǎng)站地圖|友情鏈接|法律支持|意見(jiàn)反饋|sitemap

傳動(dòng)網(wǎng)-工業(yè)自動(dòng)化與智能制造的全媒體“互聯(lián)網(wǎng)+”創(chuàng)新服務(wù)平臺(tái)

網(wǎng)站客服服務(wù)咨詢采購(gòu)咨詢媒體合作

Chuandong.com Copyright ?2005 - 2024 ,All Rights Reserved 深圳市奧美大唐廣告有限公司 版權(quán)所有
粵ICP備 14004826號(hào) | 營(yíng)業(yè)執(zhí)照證書(shū) | 不良信息舉報(bào)中心 | 粵公網(wǎng)安備 44030402000946號(hào)