近年來，由于高性能計算機的發(fā)展以及數(shù)據(jù)集規(guī)模的擴大，深度學習模型在醫(yī)學圖像分類檢測領域內(nèi)取得了廣泛應用。利用深度學習從大規(guī)模醫(yī)學圖像數(shù)據(jù)庫中訓練自動診斷模型正引起廣泛的研究興趣。

方法

1.卷積神經(jīng)網(wǎng)絡

受到生物神經(jīng)系統(tǒng)的啟發(fā)，卷積神經(jīng)網(wǎng)絡（CNN）在物體識別和檢測領域已經(jīng)獲得了巨大成功。不同于傳統(tǒng)的神經(jīng)網(wǎng)絡，CNN結(jié)合了局部連接和權值共享策略，因此，使得卷積神經(jīng)網(wǎng)絡的參數(shù)大大減少，從而構(gòu)建更深層數(shù)的卷積網(wǎng)絡成為可能。CNN的主要組成成分是卷積層，卷積層包含了許多神經(jīng)元，每個神經(jīng)元帶有一組可學習的權值和一個偏置項。這些權值會在網(wǎng)絡訓練的過程中不斷改變。每個神經(jīng)元對于前一層的局部區(qū)域進行感知，即將該局部區(qū)域作為其輸入。假定χlj是第l層卷積層的第j個神經(jīng)元的輸出，且是第l-1層的神經(jīng)元輸出，M表示當前神經(jīng)元的局部輸入大小，那么χlj可以表示為：

其中表示連接至前一層第m個神經(jīng)元輸出的權值，δ（.)表示神經(jīng)元激活函數(shù)（一般常用ReLU非線性單元）。池化層（poolinglayer）和全連接層是CNN另一主要成分。

在本文中，我們將分類層softmax層作為全連接層的附屬層。一般而言，在卷積層之間會加入池化層，池化層本身不帶參數(shù)，其作用是減少卷積層輸出尺寸大小，從而大大減少整個網(wǎng)絡的參數(shù)數(shù)量，同時增強卷積層輸出特征的空間穩(wěn)定性。因此，池化層在一定程度上可以避免網(wǎng)絡出現(xiàn)過擬合的情況。全連接層（fully-connectedlayer，F(xiàn)Clayer）類似于卷積層，同樣是由許多神經(jīng)元組成，但這里的神經(jīng)元與前一層輸入之間是全連接的方式，即每個神經(jīng)元與前一層所有輸入進行作用。Softmax層是CNN網(wǎng)絡的最后一層結(jié)構(gòu)，其功能是對網(wǎng)絡提取的特征進行分類。為了評價網(wǎng)絡預測輸出與輸入圖像真實標簽之間的一致性，這里用到了損失函數(shù)。具體而言，假定為輸入圖像，是其對應的真實標簽，則損失函數(shù)可以表示為：

其中，表示網(wǎng)絡對輸入圖像Ii的預測類別概率輸出，此外，是指示函數(shù)，，當Ck=Ti時，其輸出值為1，反之則為0；fj是網(wǎng)絡對于圖像Ii在softmax層前一層第j個神經(jīng)元的輸出。CNN訓練的目的就是獲取合適的權值參數(shù)，使得整個網(wǎng)絡能夠針對目標數(shù)據(jù)自動學習合適的特征表達，從而對于未知樣本得到比較好的預測結(jié)果。

2.CNN結(jié)構(gòu)設置

對于像CNN-16這種深度的網(wǎng)絡，直接隨機初始參數(shù)的情況下訓練會出現(xiàn)收斂速度極慢，反向傳播更新參數(shù)過程會出現(xiàn)梯度消失等情況，因此，這里我們直接采用遷移學習的方式來初始化設置網(wǎng)絡，相應結(jié)果表示為CNN-16-TR。表1說明了實驗中CNN的具體結(jié)構(gòu)細節(jié)。

3.數(shù)據(jù)增強

CNN網(wǎng)絡作為一種深度學習模型，其對于訓練數(shù)據(jù)量具有極大的要求。某種程度上，數(shù)據(jù)量的大小直接決定了網(wǎng)絡的規(guī)模，以及網(wǎng)絡的可訓練性。而臨床上，收集大量的且具有代表性的醫(yī)學圖像本身就相當困難，再加上這些數(shù)據(jù)還需要人工進行標注，因此，構(gòu)建這種高質(zhì)量大規(guī)模的醫(yī)學圖像數(shù)據(jù)集極具挑戰(zhàn)。而通過保持圖像本身標簽不變的情況下，對圖像數(shù)據(jù)進行多種變換來增大數(shù)據(jù)集的規(guī)模是一種可行且有效的數(shù)據(jù)增強方式。通過這種數(shù)據(jù)增強方式，我們可以大大增大數(shù)據(jù)集規(guī)模，從而解決醫(yī)學圖像數(shù)據(jù)集因為數(shù)據(jù)量不足而無法訓練CNN模型的情況。

4.遷移學習

即便CNN網(wǎng)絡具有極強的特征表達能力，在很多醫(yī)學圖像上得到了成功應用，但訓練的數(shù)據(jù)量依舊是最大的限制。因此，過擬合問題是有監(jiān)督深度模型始終無法回避的一個話題。在這種情況下，先從大規(guī)模的數(shù)據(jù)集上預訓練一個CNN網(wǎng)絡，而后將該網(wǎng)絡的參數(shù)復制到目標網(wǎng)絡中是一個有效的網(wǎng)絡初始化方式，可以大大減少網(wǎng)絡訓練速度，同時避免訓練數(shù)據(jù)量過小而出現(xiàn)的過擬合現(xiàn)象。

目前，最常見遷移學習方法是首先在其他數(shù)據(jù)集上訓練一個基礎網(wǎng)絡，然后將該網(wǎng)絡的前n層參數(shù)復制到目標網(wǎng)絡對應層，而后目標網(wǎng)絡余下層則隨機初始化參數(shù)。根據(jù)訓練的方式不同，遷移學習可以分為兩種，一種是保持這些遷移過來的學習層參數(shù)固定，訓練過程中只改變后面隨機初始化的學習層參數(shù)；另一種則是在訓練過程中微調(diào)這些遷移的學習層參數(shù)。根據(jù)研究結(jié)果，由于ImageNet數(shù)據(jù)集與我們FFSP數(shù)據(jù)集之間圖像差異巨大，因此，遷移層數(shù)較多的情況下，采取前一種固定遷移參數(shù)的訓練方式并不適用，因此，在本研究中，我們采取微調(diào)的遷移學習方式。

實驗與結(jié)果

1.數(shù)據(jù)集與系統(tǒng)設置

2.定性分析評價

圖4中，(c)為CNN-8-TR提取的訓練集特征，可以看出四類切面特征基本很清楚的被區(qū)分，而(d)為CNN-8-RI提取的訓練集特征，四類切面特征還存在少量交叉。相對應的(g)、(h)分別為CNN-8-TR與CNN-8-RI測試集特征，結(jié)果與訓練集類似。

3.定量分析評價

目前，最主流的分類識別技術是利用人工特征結(jié)合分類器進行分類識別，這些方法基本思想是先從圖像中提取特征，同時對特征進行編碼，再訓練分類器進行分類識別，如基于DSIFT特征的編碼方式識別，包括直方圖編碼BoVW模型、局部特征聚合描述符VLAD編碼以及FV向量編碼。我們先前的研究工作就是利用這些方法進行FFSP的自動識別。

圖5是各個CNN網(wǎng)絡的分類性能ROC曲線和混淆矩陣。從圖5以及表2中可以看出，CNN-16-TR識別正確率高于CNN-8-TR，因此，加深CNN模型的深度能夠很好地提升最后的分類效果。此外，CNN-8-TR分類正確率高于CNN-8-RI，表明在其他數(shù)據(jù)集上預訓練基礎網(wǎng)絡，同時微調(diào)遷移參數(shù)也是一種改善CNN識別性能的有效方法。從實驗結(jié)果可以看出，所有CNN模型識別結(jié)果都表現(xiàn)良好，且都優(yōu)于我們之前的手工特征分類結(jié)果。雖然CNN具有極強的分類性能，但在實驗結(jié)果中我們也觀察到了一些值得注意的細節(jié)：首先，測試階段，每張圖像綜合其10張子圖像的預測結(jié)果，這種10-croptesting比直接測試單張圖像的結(jié)果提升了3%左右。另外，采用遷移學習策略時，網(wǎng)絡收斂的速度大大加快，比隨機初始化參數(shù)的網(wǎng)絡收斂快一半以上的時間。

討論

深度網(wǎng)絡作為一種表達學習方法，通過組合迭代不同層次的特征，最后形成高層抽象特征，這種特征相對于傳統(tǒng)的人工特征而言，在概念表達方面具有更魯棒的性能或者說更具不變性。而且，深度網(wǎng)絡可以根據(jù)給定的數(shù)據(jù)，學習到對應的特征，因此，其泛化能力更強，可以推廣應用到不同的圖像領域。但是深度學習模型普遍要求足夠多的訓練數(shù)據(jù)量，否則網(wǎng)絡訓練會出現(xiàn)過擬合問題。在不同的圖像領域，顯然數(shù)據(jù)采集的難度不盡相同，且自然圖像數(shù)據(jù)集的規(guī)模往往遠大于醫(yī)學類圖像數(shù)據(jù)。因此，醫(yī)學圖像領域內(nèi)，深度網(wǎng)絡應用的最大困難在于數(shù)據(jù)集規(guī)模的限制。

利用自然圖像數(shù)據(jù)集訓練基礎網(wǎng)絡，再進行遷移學習是解決當前不同圖像領域應用深度網(wǎng)絡數(shù)據(jù)量不足的有效方式。因此，本研究結(jié)合了遷移學習與數(shù)據(jù)增強的方式來綜合提升深度網(wǎng)絡分類性能。最后的結(jié)果分析也表明，其FFSP分類性能要遠遠好于我們之前的研究，即采用人工特征結(jié)合分類器分類的方法。

然而本研究依然存在一些不足之處，首先，測試集數(shù)量不夠多，只有2418張測試圖像，雖然在一定程度上可以反應CNN模型的分類性能，但更大量的數(shù)據(jù)應該更具說明性。這也是以后我們改進的方向之一。另外，在測試結(jié)果方面，依然存在提升的空間，不少接近FFSP的非標準切面被識別為標準切面。這跟圖像本身的噪聲以及差異度小有極大的關系。未來的研究中，可以通過給訓練集圖像隨機添加噪聲，來增加網(wǎng)絡識別的穩(wěn)定性。另外，臨床醫(yī)生在尋找FFSP過程中，會考慮前后幀圖像的上下文信息，因此，在網(wǎng)絡訓練過程中加入當前圖像上下文信息可以消除FFSP與非FFSP類內(nèi)差異小所帶來的干擾。

結(jié)論

本研究中，我們提出了用深度卷積網(wǎng)絡的方式來識別胎兒顏面部超聲圖像，同時，分析研究了不同深度結(jié)構(gòu)的CNN模型對于FFSP分類的結(jié)果。為了防止由于訓練數(shù)據(jù)集數(shù)量不足而引發(fā)網(wǎng)絡訓練出現(xiàn)過擬合問題，我們采用了數(shù)據(jù)增強結(jié)合遷移學習的方式來改善網(wǎng)絡分類結(jié)果。最后的結(jié)果表明，深度網(wǎng)絡可以有效的識別FFSP標準切面，同時更深層的深度網(wǎng)絡能夠帶來更好的分類性能。因此，深度網(wǎng)絡與遷移學習的結(jié)合在臨床應用方面具有極大的前景，值得進一步的探索和研究。