由于AI算法內(nèi)部的運(yùn)作往往是不透明的，AI的黑箱問(wèn)題和可解釋性問(wèn)題越來(lái)越受到關(guān)注?！都~約時(shí)報(bào)》和《連線》最近的兩篇文章認(rèn)為，AI的黑箱并沒(méi)有那么可怕，我們不需要要求算法必須透明，甚至為了可解釋性犧牲AI系統(tǒng)的能力，相反，將其視為一個(gè)優(yōu)化問(wèn)題更可行。

AI算法對(duì)人類生活的影響越來(lái)越大，但它們內(nèi)部的運(yùn)作往往是不透明的，人們對(duì)這種技術(shù)的工作方式也愈加感到擔(dān)憂。MIT科技評(píng)論曾經(jīng)發(fā)表一篇題為“人工智能中的黑暗秘密”的文章，警告說(shuō)：“沒(méi)有人真正知道先進(jìn)的機(jī)器學(xué)習(xí)算法是怎樣工作的，而這恐將成為一大隱憂。”由于這種不確定性和缺乏問(wèn)責(zé)制，紐約大學(xué)AINowInstitute的一份報(bào)告建議負(fù)責(zé)刑事司法、醫(yī)療保健、社會(huì)福利和教育的公共機(jī)構(gòu)不應(yīng)該使用AI技術(shù)。

輸入的數(shù)據(jù)和答案之間的不可觀察的空間通常被稱為“黑箱”（blackbox）——名稱來(lái)自飛機(jī)上強(qiáng)制使用的飛行記錄儀“黑匣子”（實(shí)際上是橙色的，而非黑色），并且經(jīng)常在空難事故后用于向調(diào)查人員提供有關(guān)飛機(jī)當(dāng)時(shí)運(yùn)作情況的數(shù)據(jù)。在人工智能領(lǐng)域，這個(gè)術(shù)語(yǔ)描述了AI技術(shù)如何在“暗處”運(yùn)作的景象：我們提供數(shù)據(jù)、模型和架構(gòu)，然后計(jì)算機(jī)給出答案，同時(shí)以一種看似不可能的方式繼續(xù)學(xué)習(xí)——顯然對(duì)于我們?nèi)祟悂?lái)說(shuō)，這太難理解了。

黑箱沒(méi)有什么可怕的

在醫(yī)療領(lǐng)域，這個(gè)問(wèn)題尤其被關(guān)注。AI被用于區(qū)分哪些皮膚病變是癌變，從血液中識(shí)別早期癌癥，預(yù)測(cè)心臟疾病，確定人和動(dòng)物的哪些化合物可以延長(zhǎng)壽命，等等。但是，對(duì)黑箱的這些擔(dān)憂是不必要的。AI的透明程度并不亞于醫(yī)生一直以來(lái)的工作方式——在許多情況下，AI甚至是一種進(jìn)步，它增強(qiáng)了醫(yī)院的能力，對(duì)病人和整個(gè)醫(yī)療系統(tǒng)都有積極的作用。畢竟，對(duì)于新技術(shù)來(lái)說(shuō)，AI的黑箱問(wèn)題并不是一個(gè)新問(wèn)題：人類智能本身就是一個(gè)黑箱，而且一直都是。

讓我們來(lái)看一個(gè)人類醫(yī)生做診斷的例子。病人可能會(huì)問(wèn)醫(yī)生她是如何做出診斷的，醫(yī)生可能會(huì)說(shuō)出一些她用來(lái)得出結(jié)論的數(shù)據(jù)。但她真的能夠解釋她是如何、以及為什么得出這個(gè)結(jié)論嗎,她從哪些研究中得到哪些具體數(shù)據(jù),她從所受的教育或?qū)熌抢锏玫搅耸裁从绊?font color="red">,她從自己以及同事的共同經(jīng)驗(yàn)中得到哪些隱性知識(shí)，以及所有這些的結(jié)合如何引導(dǎo)她得出那個(gè)診斷?當(dāng)然，她可能會(huì)說(shuō)出引領(lǐng)她往某個(gè)特定方向走的某些指示，但這也會(huì)有猜測(cè)的成分，有跟隨直覺(jué)的成分。即使沒(méi)有，我們也仍然不知道有沒(méi)有什么其他因素是她自己甚至沒(méi)有意識(shí)到的。

如果使用AI進(jìn)行同樣的診斷，我們可以從該患者的所有可用信息中獲取數(shù)據(jù)，以及在不同時(shí)間和從其他無(wú)數(shù)同類患者身上匿名收集的數(shù)據(jù)，用以做出最有力的基于證據(jù)的決策。這是一種與數(shù)據(jù)直接相關(guān)的診斷，而不是基于有限數(shù)據(jù)的人類直覺(jué)，或者相對(duì)少的局部患者的診斷經(jīng)驗(yàn)總結(jié)。

但是，我們每天都必須在很多我們并不完全了解的領(lǐng)域做決策——并且通常都非常成功——從預(yù)測(cè)政策對(duì)經(jīng)濟(jì)的影響到天氣預(yù)報(bào)，再到我們最初接觸大部分科學(xué)的方式。我們要么認(rèn)為這些決策非常簡(jiǎn)單，要么接受它們過(guò)于復(fù)雜以至我們無(wú)法解決，更不用說(shuō)完全解釋它們了。這就像AI的黑箱：人類的智慧能夠針對(duì)一個(gè)給出的結(jié)論進(jìn)行推理和論證，但無(wú)法解釋我們得出一個(gè)特定結(jié)論的復(fù)雜、隱含的過(guò)程。試想一下一對(duì)夫妻因某個(gè)明確的原因（例如，不忠）而離婚這個(gè)問(wèn)題——在現(xiàn)實(shí)中，有許多完全看不見(jiàn)的、錯(cuò)綜復(fù)雜的原因、影響和事件共同促成了這一結(jié)果。為什么這一對(duì)夫婦選擇分手，而另一對(duì)類似情況的夫婦卻沒(méi)有?即使是處于這些關(guān)系中的人也無(wú)法完全解釋這個(gè)問(wèn)題。這是一個(gè)黑箱。

AI的黑箱更多是一個(gè)特征，而不是一個(gè)bug

具有諷刺意味的是，與人類智能相比，人工智能實(shí)際上更加透明。與人類的思維不同，人工智能可以——也應(yīng)該——被審問(wèn)和被解釋。例如檢查和改進(jìn)模型的能力，揭示深度神經(jīng)網(wǎng)絡(luò)中的知識(shí)差距，必須要構(gòu)建的調(diào)試工具，以及通過(guò)腦機(jī)接口增強(qiáng)人類只能的潛在能力，等等，有許多技術(shù)可以幫助解釋人工智能，而這些解釋AI的方式無(wú)法用于解釋人腦。在這個(gè)過(guò)程中，我們甚至可以更多地了解人類智能的運(yùn)作方式。

也許批評(píng)者們擔(dān)憂的真正原因不是我們無(wú)法“看到”AI的推理過(guò)程，而是當(dāng)AI變得愈加強(qiáng)大時(shí)，人類的心智就變成了限制因素。他們擔(dān)心的是，在未來(lái)，我們需要利用AI去理解AI。在醫(yī)療領(lǐng)域以及其他領(lǐng)域，這意味著我們很快就會(huì)看到一個(gè)新類別的專業(yè)人士的出現(xiàn)，他們自己不必去做即時(shí)的決策，而是管理一個(gè)AI工人去做決策——就像商用飛機(jī)的駕駛員在惡劣的天氣條件下使用自動(dòng)駕駛儀降落一樣。醫(yī)生將不再“主導(dǎo)”初始診斷；相反，他們需要確保AI系統(tǒng)對(duì)患者的診斷是相關(guān)的和易于理解的，并監(jiān)督AI在何時(shí)以及如何提供更多的說(shuō)明和解釋。未來(lái)的醫(yī)生辦公室很可能有多名計(jì)算機(jī)助理，包括醫(yī)生方面的和病人方面的，以及來(lái)自外部的數(shù)據(jù)輸入。

當(dāng)這種情況成為現(xiàn)實(shí)時(shí)，顯然，所謂的人工智能“黑箱”將更多是一種特征，而不是一個(gè)bug——因?yàn)樗啾热祟惖拇竽X更能夠理解和解釋決策的過(guò)程。這并沒(méi)有否定或忽視對(duì)AI進(jìn)行監(jiān)督的需求，只是說(shuō)與其擔(dān)心黑箱，我們更應(yīng)該關(guān)注機(jī)會(huì)，從而更好地應(yīng)對(duì)這樣一個(gè)未來(lái)：AI不僅增強(qiáng)人類智能和人類直覺(jué)，而且甚至可以啟發(fā)人之本質(zhì)。

不要為了可解釋性犧牲AI的能力

當(dāng)前的AI系統(tǒng)可能會(huì)發(fā)生一些故障，例如使自動(dòng)駕駛汽車遭遇事故，或在用于司法時(shí)對(duì)黑人判處相比白人更長(zhǎng)的刑期。我們會(huì)知道這些，是因?yàn)锳I已經(jīng)在這些方面出現(xiàn)了錯(cuò)誤。但是，這并不意味著我們應(yīng)該堅(jiān)持AI需要解釋它在任何情況下如何做決策，包括歐盟的“一般數(shù)據(jù)保護(hù)條例”（GDPR）也如此要求。

要求可解釋性聽(tīng)起來(lái)不錯(cuò)，但實(shí)現(xiàn)它可能需要讓AI人為地變蠢。機(jī)器學(xué)習(xí)有如此強(qiáng)大的使用前景，縮減AI的能力可能意味著無(wú)法診斷疾病、無(wú)法發(fā)現(xiàn)氣候變化的重要原因，等等。充分利用機(jī)器學(xué)習(xí)的能力意味著必須依賴那些現(xiàn)在無(wú)法向人類大腦解釋的結(jié)果。

機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)，可以將數(shù)據(jù)分析成數(shù)以千計(jì)的變量，將它們排列成非常復(fù)雜而敏感的加權(quán)關(guān)系數(shù)組，然后通過(guò)基于計(jì)算機(jī)的神經(jīng)網(wǎng)絡(luò)反復(fù)運(yùn)行這些數(shù)組。要想理解這些運(yùn)行的結(jié)果，例如為什么系統(tǒng)認(rèn)為有73％的幾率患上糖尿病，或者在象棋中走這步棋有84％的幾率能導(dǎo)致最終勝利，這就需要理解這些成千上萬(wàn)的變量之間的關(guān)系，這些變量是通過(guò)大量的神經(jīng)網(wǎng)絡(luò)計(jì)算得出的。我們的大腦根本無(wú)法掌握這么多的信息。

可解釋性是工具：我們用這些工具來(lái)達(dá)成目標(biāo)。通過(guò)機(jī)器學(xué)習(xí)，可解釋性能夠幫助開(kāi)發(fā)人員debug?？山忉屝砸部梢杂脕?lái)判斷一個(gè)結(jié)果是否基于不應(yīng)該計(jì)數(shù)的因素（例如性別，種族等，取決于具體情況）來(lái)評(píng)估責(zé)任。但是，我們可以通過(guò)其他方法來(lái)實(shí)現(xiàn)預(yù)期的效果，而不用約束機(jī)器學(xué)習(xí)系統(tǒng)的能力。

一個(gè)很有前景的工具是優(yōu)化（optimization）。例如，在20世紀(jì)70年代石油危機(jī)期間，美國(guó)政府決定將限速降至55英里/時(shí)，從而優(yōu)化高速公路。同樣，政府也可以決定對(duì)自動(dòng)駕駛汽車進(jìn)行優(yōu)化。

AI系統(tǒng)需要對(duì)針對(duì)某個(gè)目的的優(yōu)化及其結(jié)果保持透明，特別是對(duì)我們希望它們支持的一些關(guān)鍵值保持透明。但是不一定要求算法是透明的。如果一個(gè)系統(tǒng)沒(méi)有達(dá)到它的目標(biāo)，就需要對(duì)它進(jìn)行調(diào)優(yōu)。如果達(dá)到了目標(biāo)，可解釋性就不是必要的。

通過(guò)將AI的可解釋性問(wèn)題視為優(yōu)化問(wèn)題，我們可以將爭(zhēng)論集中在真正重要的問(wèn)題上：我們想從一個(gè)系統(tǒng)中得到什么，我們?cè)敢夥艞壥裁磥?lái)得到它？