作者：王娜1，王毅1，俞俊雄1，王慧芳2，雷柏英1，汪天富1，倪東*

1（深圳大學(xué)醫(yī)學(xué)部）

2（深圳市第二人民醫(yī)院超聲科）

摘要：在女性盆底功能障礙性疾病診斷中，準(zhǔn)確分割肛提肌裂孔，具有至關(guān)重要的臨床意義。傳統(tǒng)方法依賴(lài)醫(yī)生經(jīng)驗(yàn)手動(dòng)分割，耗神耗力，而且可靠性往往不高。因此，應(yīng)臨床盆底超聲診斷需求，本文提出一種肛提肌裂孔智能識(shí)別方法。首先，使用自動(dòng)上下文全卷積神經(jīng)網(wǎng)絡(luò)，融合肛提肌裂孔圖像與全卷積神經(jīng)網(wǎng)絡(luò)得到的概率圖，提高預(yù)測(cè)分割結(jié)果的局部空間一致性并改善分割細(xì)節(jié)，并結(jié)合活動(dòng)輪廓模型，進(jìn)一步完善分割結(jié)果。實(shí)驗(yàn)結(jié)果說(shuō)明本文所提出的方法較現(xiàn)有方法能夠提供更精確的分割結(jié)果。

前言

醫(yī)學(xué)影像分割決定著醫(yī)學(xué)影像在臨床診療中能否提供可靠依據(jù)的關(guān)鍵問(wèn)題，近年來(lái)利用深度學(xué)習(xí)算法處理醫(yī)學(xué)影像分割問(wèn)題，是人工智能的重要應(yīng)用，醫(yī)學(xué)影像分割技術(shù)也取得了顯著進(jìn)展。目前多使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)、全卷積網(wǎng)絡(luò)(FCN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)等網(wǎng)絡(luò)結(jié)構(gòu)解決醫(yī)學(xué)影像分割問(wèn)題。

女性盆底功能障礙性疾病(femalepelvicfloordysfunction,FPFD)包括盆腔器官脫垂，壓力性尿失禁、糞失禁等一系列綜合征，F(xiàn)PFD的致病因素有很多，主要原因是由妊娠及分娩引起的肛提肌損傷。盆底超聲因具有實(shí)時(shí)成像、費(fèi)用低、無(wú)輻射等優(yōu)點(diǎn)，是盆底疾病主要的影像檢查手段[1]。臨床診斷中，醫(yī)生通常利用軌跡球手動(dòng)描記肛提肌輪廓；而這往往受醫(yī)生主觀經(jīng)驗(yàn)影響，且測(cè)量步驟繁瑣、耗時(shí)長(zhǎng)、誤差大。但是實(shí)現(xiàn)肛提肌裂孔（levatorhiatus，LH）自動(dòng)分割時(shí)會(huì)面臨以下幾點(diǎn)挑戰(zhàn)：①圖像中聲影、散斑等噪聲干擾大；②成像條件不同，圖像呈現(xiàn)不同的強(qiáng)度分布；③肛提肌單側(cè)或雙側(cè)損傷，影響其識(shí)別，如圖1所示。為解決這些問(wèn)題，本文首次提出基于深度學(xué)習(xí)的LH自動(dòng)分割方法。

LH邊緣分割是其生物參數(shù)測(cè)量的首要條件。Sindhwani[2]提出基于水平集的半自動(dòng)肛提肌輪廓描繪工具，需要手動(dòng)標(biāo)記恥骨聯(lián)合后下緣點(diǎn)和恥骨直腸肌底部前緣點(diǎn)。隨著深度學(xué)習(xí)的蓬勃發(fā)展，其在醫(yī)學(xué)超聲圖像處理領(lǐng)域相比傳統(tǒng)方法能夠得到更好的性能表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)[3]在前景分類(lèi)有良好應(yīng)用，但它以圖像塊分類(lèi)方式完成圖像分割，會(huì)造成分割不精細(xì)。而全卷積神經(jīng)網(wǎng)絡(luò)[4]通過(guò)融合多視覺(jué)尺度信息，能夠?qū)崿F(xiàn)像素級(jí)的分割。但當(dāng)前流行的自然圖像網(wǎng)絡(luò)往往超出了醫(yī)學(xué)圖像領(lǐng)域所需的模型復(fù)雜性，所以應(yīng)LH超聲圖像分割要求，提出一種自動(dòng)上下文全卷積神經(jīng)網(wǎng)絡(luò)(Auto-ContextFullyConvolutionalNetworks，AC-FCN)，通過(guò)融合LH超聲圖像與FCN得到的概率圖的方式，提高預(yù)測(cè)圖的局部空間一致性并改善分割細(xì)節(jié)[6]；針對(duì)分割結(jié)果中局部缺失問(wèn)題，采用活動(dòng)輪廓模型(ActiveShapeModel，ASM)[7]，通過(guò)形狀約束方式提升LH分割效果。

綜上所述，本文提出的基于深度學(xué)習(xí)的肛提肌裂孔智能識(shí)別方法，具有以下幾個(gè)創(chuàng)新點(diǎn)：①相比傳統(tǒng)的FCN網(wǎng)絡(luò)，AC-FCN對(duì)LH的分割任務(wù)有更好的性能表現(xiàn)，能夠更加準(zhǔn)確快速地識(shí)別LH；②AC-FCN融合了不同尺寸不同層次的特征，成功解決傳統(tǒng)FCN分割結(jié)果細(xì)節(jié)粗糙的問(wèn)題；③基于前兩步的分割結(jié)果以及LH形狀特點(diǎn)，利用ASM進(jìn)行形狀約束，再次提高LH的分割效果；④將當(dāng)前研究領(lǐng)域較流行的深度學(xué)習(xí)方法與傳統(tǒng)方法結(jié)合，借助深度學(xué)習(xí)網(wǎng)絡(luò)提取圖像中深層次的豐富的特征信息，獲得初步分割結(jié)果，在此基礎(chǔ)上，有機(jī)結(jié)合傳統(tǒng)方法不斷優(yōu)化實(shí)驗(yàn)結(jié)果，構(gòu)建出性能更好的研究框架。

圖1盆底超聲圖像（左）及其分割結(jié)果（右），紅色輪廓表示手動(dòng)描繪的LH邊界，黃色和綠色箭頭分別表示由超聲特點(diǎn)和肛提肌損傷引起的邊界缺失

方法

本文提出的基于深度學(xué)習(xí)的LH智能識(shí)別方法，研究框架如圖2所示，主要包括以下三點(diǎn)：首先，將預(yù)處理得到LH超聲圖像和對(duì)應(yīng)的標(biāo)簽輸入到第0級(jí)分類(lèi)器(Level0—AC-FCN)，以遷移學(xué)習(xí)方式提取多尺度視覺(jué)特征，獲得肛提肌裂孔預(yù)測(cè)圖；之后將AC-FCN嵌入到自動(dòng)上下文模型中，把第0級(jí)獲取的概率圖與LH超聲圖像進(jìn)行多通道融合后輸入到第1級(jí)分類(lèi)器(Level1—AC-FCN)，得到新的預(yù)測(cè)圖，與LH圖像融合后輸入第2級(jí)分類(lèi)器，以此類(lèi)推，不斷迭代直到獲得較好的分割結(jié)果；最后，利用ASM引入曲線形狀、圖像中的位置、邊界處的連續(xù)性等約束條件，對(duì)最后一次自動(dòng)上下文模型得到的預(yù)測(cè)概率圖進(jìn)行形狀優(yōu)化，輸出最終的分割結(jié)果。

圖2本文提出的框架圖

2.1調(diào)整后的全卷積網(wǎng)絡(luò)

Long等[4]提出全卷積神經(jīng)網(wǎng)絡(luò)(FCN)，以端到端、點(diǎn)到點(diǎn)的方式對(duì)任意尺寸的輸入圖像完成像素級(jí)分割。最有效的FCN模型是FCN-8s，本文以FCN-8s為基礎(chǔ)提出LH超聲圖像目標(biāo)與背景區(qū)域分類(lèi)器AC-FCN，主要進(jìn)行如下調(diào)整：①刪除FCN8s中最后兩層卷積層降低模型復(fù)雜度，避免過(guò)擬合，縮短了訓(xùn)練時(shí)間；②添加融合層，將第五池化層和第四池化層得到的特征圖融合，強(qiáng)化特征學(xué)習(xí)，將第一個(gè)卷積層的填充參數(shù)設(shè)為1。首先，神經(jīng)網(wǎng)絡(luò)卷積層輸入輸出特征圖尺寸計(jì)算公式如下：

   (1)

其中，F(xiàn)_i為輸入特征圖的空間尺寸，F(xiàn)₀為輸出特征圖尺寸，K即為核函數(shù)尺寸，S為步幅，P是填充參數(shù)，通常用零擴(kuò)充圖像的邊緣。在AC-FCN中，刪掉FCN-8s最后兩層卷積后，當(dāng)卷積層中核函數(shù)K=3、步幅S=1時(shí)，P=1，F(xiàn)₀始終等于F_i，不存在邊緣丟失的問(wèn)題，所以前后層信息融合時(shí)就無(wú)需使用裁剪層裁剪特征圖。

2.2自動(dòng)上下文模型細(xì)化分割結(jié)果

AC-FCN雖然能更高效輸出目標(biāo)區(qū)域的預(yù)測(cè)概率圖，但仍存在兩大問(wèn)題：①對(duì)圖像中的細(xì)節(jié)不敏感，所得結(jié)果不夠精細(xì)；②FCN對(duì)各個(gè)像素分類(lèi)時(shí)，沒(méi)有充分考慮像素之間的關(guān)系，忽略了基于像素分類(lèi)中通常使用的空間規(guī)整步驟，缺乏空間一致性。為了解決上述問(wèn)題，使用自動(dòng)上下文模型對(duì)AC-FCN結(jié)果進(jìn)行優(yōu)化[8]。

自動(dòng)上下文模型核心思想是第k級(jí)分類(lèi)器同時(shí)利用灰度圖像的外觀特征和第k-1級(jí)分類(lèi)器獲取的預(yù)測(cè)概率圖的上下文特征，第k-1級(jí)的分類(lèi)器包含感興趣目標(biāo)的基本形狀、前景、背景的輪廓分割等有價(jià)值的信息，通過(guò)上下文特征與灰度特征的聯(lián)合，得到比k-1級(jí)分類(lèi)器更有效的特征描述，實(shí)現(xiàn)預(yù)測(cè)圖的概率精細(xì)化。

(2)

其中，h^k是第k級(jí)分類(lèi)器的模型映射函數(shù)，x、y^k-1分別是肛提肌圖像和第k-1級(jí)分類(lèi)器輸出的概率圖，J(.)是將

x、y^k-1結(jié)合的并行級(jí)聯(lián)間操作。本文將一張肛提肌圖像和k-1分類(lèi)器獲取的概率圖聯(lián)合成三通道圖像，作為k級(jí)分類(lèi)器的輸入，對(duì)AC-FCN預(yù)測(cè)圖實(shí)現(xiàn)輪廓細(xì)化和空間一致性?xún)?yōu)化。

2.3活動(dòng)輪廓模型優(yōu)化

雖然本文中級(jí)聯(lián)的多尺度AC-FCN對(duì)邊界缺失情況仍有強(qiáng)大的恢復(fù)能力，但目前還沒(méi)有理論保證能夠以絕對(duì)相近的形式恢復(fù)所有缺失的邊界，所以，在最后一層上下文后，我們應(yīng)用一個(gè)輔助ASM模型[9]在預(yù)測(cè)概率圖上生成最終的分割結(jié)果。采用交叉驗(yàn)證的方式，將372張LH分成12個(gè)子集，取11個(gè)子集作為訓(xùn)練集，1個(gè)子集作為驗(yàn)證集，每張圖上有12個(gè)主特征點(diǎn)和位于主特征點(diǎn)之間的60個(gè)次特征點(diǎn)，將樣本數(shù)據(jù)及特征點(diǎn)輸入ASM中統(tǒng)計(jì)LH形狀分布信息，構(gòu)建完成形狀模型。因?yàn)槟：痛罂缍鹊拈]塞邊界已經(jīng)被AC-FCN級(jí)聯(lián)識(shí)別，只有少量缺口有待ASM補(bǔ)全和完善。實(shí)驗(yàn)結(jié)果表明，ASM能有效實(shí)現(xiàn)對(duì)LH的形狀約束，完善分割結(jié)果，為L(zhǎng)H參數(shù)的精準(zhǔn)測(cè)量提供有力支持。

實(shí)驗(yàn)結(jié)果

為更全面準(zhǔn)確地評(píng)估分割結(jié)果，參考文獻(xiàn)[10-12]，本文采用區(qū)域和形狀相似度兩類(lèi)評(píng)價(jià)指標(biāo)，即Dice、Jaccard、ConformityCoefficient(Cc)、AverageDistanceofBoundaries(Adb)四種指標(biāo)來(lái)評(píng)估LH分割結(jié)果。其中，前兩種是基于區(qū)域的評(píng)價(jià)指標(biāo)，后兩種是基于距離的評(píng)價(jià)指標(biāo)。設(shè)G為醫(yī)生標(biāo)記的目標(biāo)區(qū)域，S為算法分割結(jié)果，評(píng)價(jià)指標(biāo)計(jì)算公式如下：

其中，s(.)表示面積計(jì)算符，d_min(P_G,S)表示G上的點(diǎn)P_G到S上最近點(diǎn)的距離，同樣地，表示S上的點(diǎn)P_S到

上最近點(diǎn)的距離，σ _G代表輪廓上點(diǎn)的個(gè)數(shù)。

依據(jù)上述指標(biāo)對(duì)本文的研究框架AC-FCN以及分割領(lǐng)域較流行的深度學(xué)習(xí)網(wǎng)絡(luò)在測(cè)試數(shù)據(jù)上進(jìn)行分割性能的評(píng)估與比較，如表1所示。由評(píng)估結(jié)果可得，AC-FCN模型作為本文框架的核心算法，其性能相比其他網(wǎng)絡(luò)在所有指標(biāo)上都更勝一籌。Level0-AC-FCN已經(jīng)優(yōu)于其他模型，嵌入上下文模型后，分割效果逐步提升，同時(shí)為了避免可能的過(guò)擬合問(wèn)題，使用Level2-AC-FCN就可以得到令人滿意的結(jié)果，通過(guò)ASM約束LH形狀繼續(xù)優(yōu)化分割結(jié)果。

圖3顯示了通過(guò)不同分割方法獲的結(jié)果，以及通過(guò)Level2-AC-FCN獲得精確預(yù)測(cè)圖。因?yàn)镃NN和U-net分割性能較差，僅展示了SegNet，F(xiàn)CN-8s，Level2-AC-FCN,Level2-AC-FCN-ASM預(yù)測(cè)分割結(jié)果以及實(shí)際LH邊界。如圖3所示，Level2-AC-FCN-ASM分割結(jié)果與實(shí)際LH邊界最接近。

表1不同分割方法比較

圖3不同方法的定性分割比較，第一行：由Level2-AC-FCN獲得的精確預(yù)測(cè)圖。第二行：SegNet（黃色），F(xiàn)CN-8（青色），Level2-AC-FCN（藍(lán)色），Level2-AC-FCN-ASM（綠色）的預(yù)測(cè)分割結(jié)果和實(shí)際LH（紅色）的邊界

實(shí)驗(yàn)結(jié)論

本文提出了一種以AC-FCN為核心的LH智能識(shí)別的研究框架，并取得了較好的結(jié)果。首先，通過(guò)調(diào)整FCN-8s獲得一個(gè)很好的基礎(chǔ)模型，提升分割精度的同時(shí)降低了模型復(fù)雜度、提高訓(xùn)練效率、減少內(nèi)存占用；將調(diào)整后FCN嵌入到一個(gè)自動(dòng)上下文模型中，通過(guò)級(jí)聯(lián)LH超聲圖像與預(yù)測(cè)概率圖的信息增強(qiáng)邊界細(xì)節(jié)，使得分類(lèi)器性能有顯著提升；將自動(dòng)上下文模型得到的概率圖，輸入到ASM完成形狀約束，很好地解決了LH邊緣缺失的問(wèn)題，且分割框架亦適用于其他超聲圖像的任務(wù)。