堆疊自動編編碼器是深度學(xué)習(xí)領(lǐng)域常用的一個深度學(xué)習(xí)模型，由多個自動動編碼器串聯(lián)堆疊構(gòu)成。堆疊多層自動編碼器的目的是為了逐層提取輸入數(shù)據(jù)的高階特征，在此過程中逐層降低輸入數(shù)據(jù)的維度，將一個復(fù)雜的輸入數(shù)據(jù)轉(zhuǎn)化成了一個系列簡單的高階的特征，然后再把這些高階特征輸入一個分類器或者聚類器中進行分類或聚類。

1.自動編碼器模型及分類

自動編碼器(Autoencoders，AE)是一種前饋無返回的神經(jīng)網(wǎng)絡(luò)，有一個輸入層，一個隱含層，一個輸出層，典型的自動編碼器結(jié)構(gòu)如圖1所示，在輸入層輸入X，同時在輸出層得到相應(yīng)的輸出Z，層與層之間都采用S型激活函數(shù)進行映射。

圖1典型自動編碼器結(jié)構(gòu)圖

輸入層到隱含層的映射關(guān)系可以看作是一個編碼過程，通過映射函數(shù)f把輸出向量x映射到隱含層輸出y。從隱含層到輸出層的過程相當于一個解碼過程，把隱含層輸出y映射通過映射函數(shù)g回去“重構(gòu)”向量z。對于每一個輸入樣本x(i)而言，經(jīng)過自動編碼器之后都會轉(zhuǎn)化為一個對應(yīng)的輸出向量z(i)=g[f(x(i))]。當自動編碼器訓(xùn)練完成之后，輸入X與輸出Z完全相同，則對應(yīng)的隱含層的輸出可以看作是輸入X的一種抽象表達，因此它可以用于提取輸入數(shù)據(jù)的特征。此外，因為它的隱含層節(jié)點數(shù)少于輸入節(jié)點數(shù)，因此自動編碼器也可以用于降維和數(shù)據(jù)壓縮。網(wǎng)絡(luò)參數(shù)的訓(xùn)練方面，自動編碼器采用反向傳播法來進行訓(xùn)練，但自動編碼器需要大量的訓(xùn)練樣本，隨著網(wǎng)絡(luò)結(jié)構(gòu)越變越復(fù)雜，網(wǎng)絡(luò)計算量也隨之增大。

對自動編碼器結(jié)構(gòu)進行改進得到其他類型的自動編碼器，比較典型的是稀疏自動編碼器、降噪自動編碼器。降噪自動編碼器（DenoisingAutoencoder，DAE）是對輸入數(shù)據(jù)進行部分“摧毀”，然后通過訓(xùn)練自動編碼器模型，重構(gòu)出原始輸入數(shù)據(jù)，以提高自動編碼器的魯棒性。對輸入數(shù)據(jù)進行“摧毀”的過程其實類似于對數(shù)據(jù)加入噪聲。稀疏自動編碼器則是對自動編碼器加入一個正則化項，約束隱含層神經(jīng)元節(jié)點大部分輸出0，少部分輸出非0。稀疏編碼器大大減小了需要訓(xùn)練的參數(shù)的數(shù)目，降低了訓(xùn)練的難度，同時克服了自動編碼器容易陷入局部及小值和存在過擬合的問題。降噪編碼器采用有噪聲的輸入數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)參數(shù)，提高了自動編碼器的泛化能力。

2.SAD堆疊過程

堆疊自動編碼器方法與DBN相同，具體過程描述如下：（1）給定初始輸入，采用無監(jiān)督方式訓(xùn)練第一層自動編碼器，減小重構(gòu)誤差達到設(shè)定值。（2）把第一個自動編碼器隱含層的輸出作為第二個自動編碼器的輸入，采用以上同樣的方法訓(xùn)練自動編碼器。（3）重復(fù)第二步直到初始化完成所有自動編碼器。（4）把最后一個堆疊自動編碼器的隱含層的輸出作為分類器的輸入，然后采用有監(jiān)督的方法訓(xùn)練分類器的參數(shù)。圖2給出了含三層AD的堆疊自動編碼器的生成過程。

圖2堆疊三層自動編碼器生成過程