引言

    據(jù)世界衛(wèi)生組織估計，約15%的成年人（約7.66億人）有一定程度的聽力受損，并且隨著世界人口的擴張和人口老齡化，這一數(shù)字還將持續(xù)上升。對更高級的智能助聽設備的市場需求將會越來越大，智能助聽設備的潛在市場不僅僅局限于聽力受損人群，技術人員還可以將該技術應用到人機語音交互、復雜聲場環(huán)境下的言語交流等方面。

    近150年以來，技術的不斷變革在不斷改善助聽設備的性能。早期的通話管（1880年）完全依靠對聲音的放大處理。到了1900年，第一臺電助聽設備誕生，它通過碳膜來放大聲音。1921年，根據(jù)使用者聽力損失類型的不同，出現(xiàn)使用真空管的助聽設備。隨著晶體管的出現(xiàn)，1952年第一臺耳背式助聽器誕生。20世紀80年代，針對聽力受損嚴重患者，具有臨床意義的電子人工耳蝸面世。上世紀90年代以來，將聲波信號轉換成數(shù)字信號的數(shù)字助聽設備成為主流，如今的助聽設備數(shù)字信號處理能力強大，對聲音進行放大前還需做語音增強以去除背景噪聲，以進一步提高助聽設備的性能。

    如何進行語音增強實現(xiàn)降噪成為目前提高助聽設備性能的一大技術挑戰(zhàn)。語音增強包括語音降噪、語音分離和語音去混響等，其目的都是改進語音質(zhì)量，消除背景噪聲。本調(diào)研文章介紹的語音增強主要為語音降噪技術，將主要介紹兩種基于機器學習的方法，實現(xiàn)助聽設備的智能化語音增強。

    傳統(tǒng)的語音降噪技術

    長期以來，許多研究人員致力于研究語音降噪技術，這些降噪技術可以分為兩類：多麥克風陣列和單麥克風框架。當目標語音和噪聲在空間上可分離時，多麥克風陣列降噪方法的優(yōu)勢明顯[1]。然而，在混響環(huán)境中，多麥克風的降噪方法的性能降低，并且它的應用通常局限于目標語音和噪聲源空間可分離的聲場[2]。因為附加的麥克風增加了設備費用和計算成本，因此，與多麥克風的降噪方法相比，單麥克風降噪方法更具經(jīng)濟優(yōu)勢。因此，研究人員提出了多種單麥克風降噪技術，例如INTEL[3-4]、對數(shù)最小均方誤差(logMMSE)[5]、基于先驗信噪比估計的維納濾波器(Wiener)[6]、KLT[7-9]、ClearVoice[10]、基于信噪比的降噪方法[11]和廣義最大后驗頻譜振幅[12]等。這些降噪方法大都是基于對語音和噪聲信號的統(tǒng)計學分析而提出的[13]。另一種流行的傳統(tǒng)降噪方法是使用端點檢測器識別人說話的停頓間隙，將此指定為噪聲，然后將其從帶噪語音中“減去”獲得降噪后的語音。這種降噪方法也被稱為譜減法，但是它通常對噪聲抑制太少或者消除太多噪聲，以至于將目標語音也消除了，這也就帶來了聽起來有韻律感的音樂噪聲，使得降噪后的語音質(zhì)量下降。

    Chen等人在2015年招募人工耳蝸植入者作為被試者，對幾種單麥克風降噪方法效果進行了評估，發(fā)現(xiàn)大多數(shù)降噪方法在噪聲條件下有效提高了人工耳蝸植入者的語音識別率。但是，這些方法在不同噪聲條件下表現(xiàn)不一。傳統(tǒng)的單麥克風降噪方法在穩(wěn)定噪聲條件下給人工耳蝸植入者的語音識別帶來顯著改善，但在具挑戰(zhàn)性噪聲條件下（例如當競爭信號是語音信號[14]或快變噪聲[15]），仍然有很大的性能改善空間。基于機器學習的降噪方法在具挑戰(zhàn)性的噪聲條件下很好地彌補了傳統(tǒng)降噪方法的短板。

    基于噪聲分類器+深度降噪自編碼器的降噪方法

    基于深度神經(jīng)網(wǎng)絡的噪聲分類器模塊

    NC模塊是基于深度神經(jīng)網(wǎng)絡（deepneuralnetwork，DNN）模型構建的。DNN模型是在輸入層和輸出層之間具有許多隱藏層的前饋人工神經(jīng)網(wǎng)絡。如圖2上半部分所示，使用梅爾頻率倒譜系數(shù)（Mel-frequencycepstralcoefficients，MFCC）[19-20]作為NC模塊的聲學特征。MFCC廣泛應用于各種聲學模式分類任務，如音樂分類[21]和自動聽診[22]。MFCC特征提取過程包括六個步驟：（1）預加重：補償在人類發(fā)聲過程中被抑制的高頻部分；（2）加窗：給定信號被分成一系列的幀；（3）快速傅立葉變換：獲得每幀的頻譜響應以進行頻譜分析；（4）梅爾濾波：將梅爾濾波帶的頻率成分整合為單能量強度；（5）非線性變換：該變換取所有梅爾濾波帶強度的對數(shù)形式；（6）離散余弦變換：將所有梅爾濾波帶強度的對數(shù)轉換成MFCC。研究表明，39維MFCC（13維原始MFCC+13維一階MFCC+13維二階MFCC）可以更精確地表征聲學模式，從而產(chǎn)生更好的識別性能[23-24]。

    在NC模塊中，這里進一步采用置信度（ConfidenceMeasure，CM）[25]來評估識別結果的可靠性。CM分數(shù)表示我們可以相信識別結果的程度：分數(shù)越高表示對識別輸出的置信度越高，反之亦然。計算完CM分數(shù)之后，定義一個閾值以對結果中的置信度分類。如前所述，NC模塊的目標是確定噪聲類型，然后根據(jù)噪聲類型來選擇最合適的DDAE模型來執(zhí)行降噪。因此，如果所確定的噪聲類型的CM評分高于閾值，則選擇相應的ND-DDAE模型來執(zhí)行降噪；另一方面，如果CM評分低于閾值，則直接使用NI-DDAE模型來執(zhí)行降噪。

    基于深度降噪自編碼器的降噪模塊

    DDAE降噪模塊的結構如圖2下半部分所示。DDAE是一種有監(jiān)督的降噪方法，基于DNN的架構，得到帶噪語音信號和干凈語音信號之間的映射函數(shù)。DDAE降噪方法有兩個階段：訓練和測試階段。在訓練階段，準備好一系列帶噪和相應的干凈語音信號對；在訓練階段，帶噪-干凈語音信號對首先轉換為對數(shù)功率譜特征(LogPowerSpectra,LPS)，LPS特征通常用在基于DNN降噪方法中[15,26]。對輸入信號進行短時傅里葉分析，計算每個重疊加窗幀的離散傅里葉變換，從而獲得LPS譜。

    如圖2所示，一共準備N個ND-DDAE模型（例如ND-DDAE_1至ND-DDAE_N）和一個NI-DDAE模型。一共N+1個模型都在訓練階段訓練好。值得注意的是，每個ND-DDAE模型都是在某一特定噪聲類型下訓練，因此在這一特定噪聲類型條件下，模型可以更準確地表征帶噪語音信號轉換到對應干凈語音信號的特征。另外，NI-DDAE模型由多種類型的噪聲訓練，因此在特定噪聲類型條件下降噪，它的表征能力不如ND-DDAE。但是，因為NI-DDAE模型由多種類型噪聲訓練，它對新出現(xiàn)的噪聲類型降噪效果會較好。這里提出的NC+DDAE降噪方法可以總結如下：（1）當測試噪聲類型被包含在訓練集中，系統(tǒng)選擇最恰當?shù)腘D-DDAE模型進行降噪（即匹配的DDAE模型）；（2）當測試噪聲不被包含在訓練集中，NI-DDAE模型用來降噪（即非匹配的DDAE模型），它對不同類型噪聲的泛化能力較好。

    效果評測

   為了測試NC+DDAE降噪方法的效果，研究采用歸一化協(xié)方差度量(NormalizedCovarianceMeasure，NCM)[27]來客觀評估降噪后的語音的可懂度，并招募了9名說普通話的人工耳植入者進行臨床聽力測試，使用詞正確率（WordCorrectRate，WCR）[17,28-31]作為評估指標。測試過程采用雙人交流噪聲和建筑手提鉆噪聲，信噪比等級分別設置為0和5dB。NCM評分和WCR評分都表明，NC+DDAE降噪方法相比于傳統(tǒng)單麥克風降噪方法和DDAE降噪方法，降噪效果有顯著性提升。

    與傳統(tǒng)的降噪技術相比，NC+DDAE降噪方法可以被視為只需數(shù)據(jù)的有監(jiān)督學習方法。這種降噪方法學習從帶噪語音信號到干凈語音信號的映射函數(shù)，而不會強加任何假設。再基于NC+DDAE模型的映射函數(shù)，不使用任何噪聲估計算法，將帶噪語音直接轉換為干凈的語音。因此，即使在處理困難的，競爭性噪聲或信噪比0dB時，NC+DDAE降噪后的語音可懂度也比傳統(tǒng)降噪方法高。

    基于深度神經(jīng)網(wǎng)絡+理想二值掩蔽的降噪方法

    1990年，來自加拿大蒙特利爾麥吉爾大學的心理學家AlbertBregman，提出人類聽覺系統(tǒng)將聲音分成不同的聲音流，例如，幾個朋友一邊聊天一邊放著音樂，這就構成了所謂的聽覺場景。聽覺場景中每個聲音流的音調(diào)、響度和方向都是不同的。如果兩個聲音在同一時間共享了同一頻段，響度高的聲音流壓倒響度較低的，這就是聽覺掩蔽原理，譬如，屋外的雨打在窗戶上發(fā)出“滴答滴答”的聲音，人可能就不會注意到屋內(nèi)掛鐘的滴答聲。

    基于上述提到的原理，來自美國俄亥俄州立大學的WangDeliang提出了理想二值掩蔽方法[32]，在一個特定頻段內(nèi)的一個特定短暫間隔（或時頻單元），理想二值掩蔽濾波器分析帶噪語音的每個時頻單元，并將每個時頻單元標記為“0”或者“1”，如果目標語音強于噪聲，標記為1，反之標記為0。然后濾波器拋棄標記為0的單元，利用標記為1的時頻單元重建語音。理想二值掩蔽極大改善了聽力障礙者的語音理解能力，但是這里的理想二值掩蔽是停留在實驗室層面的，實驗設計將語音和噪聲混合，濾波器是知道什么時候目標語音比噪聲響度大的，因此稱之為理想的。一個真正實用的二值掩蔽濾波器，需要完全獨立地實時地將聲音從背景噪聲中分離出來。因此Wang等人嘗試了將深度神經(jīng)網(wǎng)絡結合理想二值掩蔽的降噪方法，以實現(xiàn)機器獨立地學習區(qū)分目標語音和背景噪聲。

    效果評測

    為了測試深度神經(jīng)網(wǎng)絡+理想二值掩蔽方法的降噪效果，研究人員招募了12位聽力受損者和12位聽力正常者進行測試，被試者通過耳機聽語音樣本。樣本是成對的：首先是原始帶噪音頻，然后是基于深層神經(jīng)網(wǎng)絡的程序處理后的音頻。使用兩種噪音進行測試，即平穩(wěn)的“嗡嗡嗡”噪聲和許多人同時說話的噪聲。許多人同時說話噪聲是創(chuàng)造了嘈雜的噪聲背景，加入四名男性和四名女性說話語句，模仿雞尾酒會場景。

    兩組被試者測試結果表明，通過神經(jīng)網(wǎng)絡對帶噪語音進行降噪，語音信號的可懂度都有了很大的提高。在多人同時說話噪聲條件下，聽力障礙者只能理解原始帶噪語音29％的內(nèi)容，但對于處理后的音頻，他們理解的內(nèi)容達到了84％。更有結果從10％提高到了90％。在穩(wěn)定噪聲條件下，類似的改善也很明顯，被試者的理解程度從36％提高到了為82％。

    經(jīng)過上述方法降噪后，正常聽力者的表現(xiàn)也有所提升，這意味著此研究的應用前景比預期的要大得多。穩(wěn)定噪聲條件下，聽力正常者理解程度從37％提升到了80%。在多人同時說話噪聲條件下，他們的表現(xiàn)從40%提高到了78%。

    有趣的是，研究人員發(fā)現(xiàn)，使用上述降噪方法后，聽力障礙者的表現(xiàn)甚至會超過正常聽力者，這意味著基于深度神經(jīng)網(wǎng)絡的方法，有望解決迄今為止研究人員花費無數(shù)精力的“雞尾酒會效應”問題。

    未來展望

    現(xiàn)實生活場景中，噪聲是多樣化的，因此應用到實際場景中，無論是噪聲分類器+深度降噪自編碼器降噪方法，還是深度神經(jīng)網(wǎng)絡+理想二值掩蔽降噪方法，都需要學會快速濾除同時出現(xiàn)的多種類型噪聲，包括訓練集中未出現(xiàn)過的新噪聲。研究人員通過增加訓練集噪聲的種類和數(shù)量，例如，Wang等人將訓練數(shù)據(jù)中噪聲類型提高了10000種，不斷優(yōu)化改進訓練后的模型，以實現(xiàn)基于機器學習語音增強的現(xiàn)實應用意義。

    另外，計算復雜度目前是基于DNN的降噪方法在助聽設備中應用的關鍵問題。由于其多層結構，DNN模型在運行時需要大量內(nèi)存和高計算成本。因此，保持其性能的同時，減少在線計算量，以此來簡化DNN模型的架構，這樣的要求是非常苛刻的。最近，研究人員提出了許多方法來制備基于DNN的高度可重構且節(jié)能的處理器，用來實施各類模式分類和回歸任務[33-39]。同時，研究人員也在努力解決高計算成本的問題。例如，蒸餾方法[40]將復雜模型轉換成到更適合部署的簡化模型。另一個著名的方法是在基于深度學習的模型中，對參數(shù)進行二進制化處理以減少內(nèi)存大小和訪問量[41]。隨著深度學習算法和硬件的快速發(fā)展，上述提到的降噪方法可以在不久的將來在助聽設備中實現(xiàn)應用。此外，已有多個系統(tǒng)可以將助聽設備與智能手機，電視機或MP3播放器等其他設備集成。這些設備可以為助聽設備提供更優(yōu)越的計算和存儲能力，因此，這也可以很好地解決基于機器學習降噪方法的高計算成本問題。目前，諸如美國明尼蘇達州的Starkey聽力技術公司，正致力于將機器學習技術與實際助聽設備結合。

    機器學習和神經(jīng)網(wǎng)絡的發(fā)展很大程度地推動了各行業(yè)的智能化發(fā)展，相信在不久的將來，基于機器學習實現(xiàn)助聽設備的智能語音增強技術將得以應用，為聽力障礙者乃至整個人類帶來福音。

參考文獻

SchmidtRO,Multipleemitterlocationandsignalparameterestimation.IEEETransactionsonAntennasandPropagation,1986.

WoutersJ,VandenBJ,Speechrecognitioninnoiseforcochlearimplanteeswithatwo-microphonemonauraladaptivenoisereductionsystem.EarHear,2001.

WeissMR,AschkenasyE,ParsonsTW,StudyanddevelopmentoftheINTELtechniqueforimprovingspeechintelligibility.1975.

HochbergI,BoothroydA,WeissM,etal.,Effectsofnoiseandnoisesuppressiononspeechperceptionbycochlearimplantusers.EarHear,1992.

EphraimY,MalahD,Speechenhancementusingaminimummean-squareerrorlog-spectralamplitudeestimator.IEEETransactionsonSpeech&AudioProcessing,2003.

ScalartP,FilhoJV,Speechenhancementbasedonapriorisignaltonoiseestimation.IEEEInternationalConferenceonAcoustics,Speech,andSignalProcessing,1996.

RezayeeA,GazorS,AnadaptiveKLTapproachforspeechenhancement.IEEETransactionsonSpeech&AudioProcessing,2001.

HuY,LoizouPC,Ageneralizedsubspaceapproachforenhancingspeechcorruptedbycolorednoise.IEEETransactionsonSpeech&AudioProcessing,2003.

LoizouPC,LoboA,HuY.,Subspacealgorithmsfornoisereductionincochlearimplants.JournaloftheAcousticalSocietyofAmerica,2005.

BuechnerA,BrendelM,SaalfeldH,etal.,ResultsofapilotstudywithasignalenhancementalgorithmforHiRes120cochlearimplantusers.Otology&Neurotology,2010.

DawsonPW,MaugerSJ,HersbachAA,Clinicalevaluationofsignal-to-noiseratio-basednoisereductioninNucleus®cochlearimplantrecipients.EarHear,2011.

YuT,LaiYH,Generalizedmaximumaposteriorispectralamplitudeestimationforspeechenhancement.SpeechCommunication,2016.

LoizouPC,SpeechEnhancement:TheoryandPractice.CRCPress,2007.

StickneyGS,ZengFG,LitovskyR,etal.,Cochlearimplantspeechrecognitionwithspeechmaskers.JournaloftheAcousticalSocietyofAmerica,2004.

XuY,DuJ,DaiLR,etal.,Aregressionapproachtospeechenhancementbasedondeepneuralnetworks.IEEE/ACMTransactionsonAudioSpeech&LanguageProcessing,2015.

CohenI,Noisespectrumestimationinadverseenvironments:Improvedminimacontrolledrecursiveaveraging.IEEETransactionsonSpeech&AudioProcessing,2003.

LaiYH,ChenF,WangSS,etal.,Adeepdenoisingautoencoderapproachtoimprovingtheintelligibilityofvocodedspeechincochlearimplantsimulation.IEEETransactionsonBiomedicalEngineering,2017.

LaiYH,TsaoY,LuX,etal.,Deeplearning-basednoisereductionapproachtoimprovespeechintelligibilityforcochlearimplantrecipients.EarHear,2018.

DavisS,MermelsteinP.,Comparisonofparametricrepresentationsformonosyllabicwordrecognitionincontinuouslyspokensentences.IEEETransactionsonSpeech&AudioProcessing,1980.

RabinerL,JuangBH,Fundamentalsofspeechrecognition.1993.

RasanenO,LeppanenJ,LaineUK,etal.,Comparisonofclassifiersinaudioandaccelerationbasedcontextclassificationinmobilephones.SignalProcessingConference,2011.

ChenJ,WangY,YohoSE,etal.,Large-scaletrainingtoincreasespeechintelligibilityforhearing-impairedlistenersinnovelnoises.JournaloftheAcousticalSocietyofAmerica,2016.

FuruiS,Cepstralanalysistechniqueforautomaticspeakerverification.IEEETransactionsonSpeech&AudioProcessing,1981.

MaL,MilnerB,SmithD,Acousticenvironmentclassification.ACMTransactionsonSpeechandLanguageProcessing,2006.

JiangH,Confidencemeasuresforspeechrecognition:Asurvey.SpeechCommunication,2005.

Lu,X.,Tsao,Y.,Matsuda,S.,etal.,Speechenhancementbasedondeepdenoisingautoencoder.ProcofInterspeech,2013.

MaJ,HuY,LoizouPC,Objectivemeasuresforpredictingspeechintelligibilityinnoisyconditionsbasedonnewband-importancefunctions.JournaloftheAcousticalSocietyofAmerica,2009.

ChenF,LoizouPC,PredictingtheintelligibilityofvocodedandwidebandMandarinChinese.JournaloftheAcousticalSocietyofAmerica,2011.

ChenF,WongLL,QiuJ,etal.,Thecontributionofmatchedenvelopedynamicrangetothebinauralbenefitsinsimulatedbilateralelectrichearing.JournalofSpeechLanguage&HearingResearch,2013.

ChenF,HuY,YuanM.EvaluationofnoisereductionmethodsforsentencerecognitionbyMandarin-speakingcochlearimplantlisteners.EarHear,2015.

LaiYH,TsaoY,ChenF.,Effectsofadaptationrateandnoisesuppressionontheintelligibilityofcompressed-envelopebasedspeech.PlosOne,2015.

WangDL,Deeplearningreinventsthehearingaid.IEEEPress,2017.

BangS,WangJ,LiZ,etal.,A288µWprogrammabledeep-learningprocessorwith270KBon-chipweightstorageusingnon-uniformmemoryhierarchyformobileintelligence.IEEESolid-StateCircuitsConference,2017.

BongK,ChoiS,KimC,etal.,A0.62mWultra-low-powerconvolutional-neural-networkface-recognitionprocessorandaCISintegratedwithalways-onhaar-likefacedetector.IEEESolid-StateCircuitsConference,2017.

DesoliG,ChawlaN,BoeschT,etal.,A2.9TOPS/WdeepconvolutionalneuralnetworkSoCinFD-SOI28nmforintelligentembeddedsystems,IEEESolid-StateCircuitsConference,2017.

MoonsB,UytterhoevenR,DehaeneW,etal.,A0.26-to-10TOPS/Wsubword-paralleldynamic-voltage-accuracy-frequency-scalableconvolutionalneuralnetworkprocessorin28nmFDSOI.IEEESolid-StateCircuitsConference,2017.

PriceM,GlassJ,ChandrakasanAP,Ascalablespeechrecognizerwithdeep-neural-networkacousticmodelsandvoice-activatedpowergating.IEEESolid-StateCircuitsConference,2017.

ShinD,LeeJ,LeeJ,etal.,An8.1TOPS/WreconfigurableCNN-RNNprocessorforgeneral-purposedeepneuralnetworks.IEEESolid-StateCircuitsConference,2017.

WhatmoughPN,LeeSK,LeeH,etal.,A28nmSoCwitha1.2GHz568nJ/predictionsparsedeep-neural-networkenginewith>0.1timingerrorratetoleranceforIoTapplications.IEEESolid-StateCircuitsConference,2017.

HintonG,VinyalsO,DeanJ,Distillingtheknowledgeinaneuralnetwork.ComputerScience,2015.

CourbariauxM,HubaraI,SoudryD,etal.,Binarizedneuralnetworks:Trainingdeepneuralnetworkswithweightsandactivationsconstrainedto+1or-1.2016.