人工智能 (AI)正在無處不在地做出決策。在工廠和其他工業(yè)應(yīng)用中，AI正在掃描產(chǎn)品缺陷。它引導(dǎo)機(jī)器人穿過車間。AI可以告訴你生產(chǎn)線何時(shí)停機(jī)，以及如何在問題發(fā)生之前解決問題。AI將幫助您的工程師如何優(yōu)化生產(chǎn)或減少浪費(fèi)。AI系統(tǒng)可以通過識(shí)別工人何時(shí)踏入危險(xiǎn)區(qū)域來幫助確保工人的安全。

　　挑戰(zhàn)在于人們是否可以信任這些決定。復(fù)雜的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)做出的決策通常無需解釋。由于這些系統(tǒng)基本上是自己編程的，因此它們的決策缺乏可解釋性。這被稱為"黑匣子AI"。正在進(jìn)行的研究旨在提高AI決策的透明度。

　　對(duì)于那些現(xiàn)在部署AI的人來說，我們?cè)趺粗牢覀兪欠窨梢韵嘈臕I所說的話?處理不良購買建議或錯(cuò)誤拒絕信用購買的影響只是一些小事，當(dāng)關(guān)鍵操作(尤其是我們的安全)依賴于AI時(shí)會(huì)發(fā)生什么?

　　信任是對(duì)某人或某事的可靠性、真理、能力和/或力量的堅(jiān)定信念。要讓人們相信AI，他們需要的不僅僅是一個(gè)黑匣子解釋"AI就是工作"。它需要超越這一點(diǎn)，用戶需要通過以下方式信任AI：

　　· 可解釋性: 用戶需要知道為什么AI系統(tǒng)會(huì)做出他們所做的決定。

　　· 局限性：用戶必須了解AI的局限性。此外，AI系統(tǒng)還需要意識(shí)到并適應(yīng)自己的局限性。

　　· 運(yùn)營(yíng)透明度：用戶必須實(shí)時(shí)查看AI系統(tǒng)的運(yùn)行方式，并知道它們?yōu)槭裁磿?huì)這樣做。

　　· 可預(yù)測(cè)性：用戶必須能夠預(yù)測(cè)AI系統(tǒng)在特定情況下的反應(yīng)。

　　· 道德：AI系統(tǒng)必須避免道德問題，如果不小心解決，這些問題可能會(huì)破壞信任。

　　信任的重要性

　　英特爾前工業(yè)創(chuàng)新高級(jí)總監(jiān)Irene Petrick在談到信任時(shí)表示，"我們?cè)儐柨萍脊臼裁磳?duì)他們最重要。大約三分之一的評(píng)論圍繞著信任(圖1)，比如AI是否以正確的方式使用正確的數(shù)據(jù)。AI應(yīng)該以預(yù)測(cè)其他問題的方式，迅速推動(dòng)更多更好的行動(dòng)。如果用戶不信任人工智能，這就無法推動(dòng)行動(dòng)。"

　　Neurala首席技術(shù)官Anatoli Gorchet在2022年AI和智能自動(dòng)化會(huì)議上的演講中描述了歸納局限性可能引起的信任問題。例如，常見的AI盲點(diǎn)是環(huán)境差異。如果只在早上捕獲訓(xùn)練模型數(shù)據(jù)，則由于太陽的角度發(fā)生了變化，模型精度將在下午或晚上直線下降。這給用戶帶來了信任問題，因?yàn)橥ǔＨ祟惒粫?huì)犯這樣的錯(cuò)誤。

　　請(qǐng)注意，環(huán)境差異可能非常微妙?？紤]將成功的AI部署到準(zhǔn)確性嚴(yán)重下降的新生產(chǎn)線上。盡管工程師認(rèn)為這條線與原始生產(chǎn)線相同，但事實(shí)并非如此：新操作員比原始操作員高六英寸，并阻擋了更多的背景光，改變了環(huán)境條件，而這些可能足以使神經(jīng)網(wǎng)絡(luò)癱瘓。

　　Gorchet指出，信任需要很多時(shí)間來發(fā)展，但只需要一個(gè)事件就可以打破。挑戰(zhàn)在于，我們?nèi)绾谓倘藗冃湃慰赡芟襁@樣失敗的系統(tǒng)?

　　生成可信賴的數(shù)據(jù)

　　AI模型建立在數(shù)據(jù)之上。因此，如果用戶要信任AI，他們必須能夠信任用于構(gòu)建它的數(shù)據(jù)，這是有道理的。Micropsi Industries首席技術(shù)官Dominik Boesl分享了數(shù)據(jù)影響信任的多種不同方式。

　　對(duì)數(shù)據(jù)的信任始于仔細(xì)捕獲數(shù)據(jù)。"在一個(gè)案例中，訓(xùn)練期間桌子上有一支筆。AI認(rèn)為筆是一個(gè)參考點(diǎn)，"Boesl說，只需要一張沒有筆的圖像就可以表明它不是必需的。

　　開發(fā)人員還需要考慮采樣偏差，因?yàn)樗鼤?huì)影響系統(tǒng)的準(zhǔn)確性。采樣偏差的一個(gè)常見示例是照明等環(huán)境條件。AI并不總是相同的。有不同的類型和技術(shù)。一個(gè)人尋找的東西并不一定與AI正在尋找的東西相匹配。早在 1995 年，北約就使用識(shí)別軟件來區(qū)分友方坦克和敵方坦克。它表現(xiàn)不佳。經(jīng)過幾個(gè)月的故障排除，他們發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)是從明亮的光線下干凈的小冊(cè)子圖片中獲取的，而不是被泥土覆蓋或光線不足的坦克。AI的專注點(diǎn)在于清晰與骯臟。"

　　"方差在數(shù)據(jù)中至關(guān)重要，"Boesl說，"考慮一下特斯拉演示車手必須擁有95%的駕駛記錄。這輛車正在接受訓(xùn)練，以期待一個(gè)可預(yù)測(cè)的司機(jī)。但并不是每個(gè)司機(jī)都是可以預(yù)測(cè)的。添加方差通過顯示可接受的更大樣本來消除盲點(diǎn)。"

　　他說，"有了足夠的方差，就沒有必要表現(xiàn)出不想要的狀態(tài)，不需要說好或壞。我們確保使用各種白色和彩色背景來教AI不要專注于背景特征。為了獲得燈光獨(dú)立性，我們?cè)谟?xùn)練時(shí)使用視頻投影儀照亮系統(tǒng)。由于光線在不斷變化，這告訴AI光不是一個(gè)相關(guān)的特征。并讓訓(xùn)練有素的操作員教AI而不是工程師。操作員是專家，也是最終與AI合作的人。"

　　GE研究院機(jī)器學(xué)習(xí)高級(jí)科學(xué)家兼"謙遜人工智能計(jì)劃"負(fù)責(zé)人Nurali Virani博士說："從根本上說，如果模型在訓(xùn)練數(shù)據(jù)有限，或沒有訓(xùn)練數(shù)據(jù)的罕見和具有挑戰(zhàn)性的情況下，對(duì)其預(yù)測(cè)過于自信，那么它可能會(huì)產(chǎn)生推斷錯(cuò)誤。這有助于理解用戶的觀點(diǎn)。許多技術(shù)人員和最終用戶擁有數(shù)年甚至數(shù)十年的經(jīng)驗(yàn)。理所當(dāng)然，他們可以質(zhì)疑，'在如此具有挑戰(zhàn)性的情況下，AI怎么能比我更清楚?'"

　　還有人為錯(cuò)誤的問題。如果某些數(shù)據(jù)標(biāo)記不正確，則 AI 對(duì)于類似實(shí)例將不可靠。如果AI依靠這些數(shù)據(jù)進(jìn)行自信的預(yù)測(cè)，那么它可能會(huì)導(dǎo)致違反信任。但是，如果AI能夠知道哪些標(biāo)簽可能是錯(cuò)誤的，并且對(duì)某些標(biāo)簽錯(cuò)誤具有魯棒性，那么它就可以要求反饋以保持信任。

　　Gorchet認(rèn)為，AI系統(tǒng)的開發(fā)方式會(huì)影響信任。考慮到當(dāng)開發(fā)人員更改硬件時(shí)，他們可能還必須更改 Cuda 版本。某些用戶的模型可能不受支持，因?yàn)樾掳姹静恢С? Tensorflow。這可能會(huì)導(dǎo)致用戶質(zhì)疑其他可能不起作用的內(nèi)容。從用戶中抽象出此類開發(fā)問題至關(guān)重要。

　　AI與局限性

　　信任AI的另一個(gè)基礎(chǔ)是意識(shí)到它的局限性。Virani說："我們創(chuàng)造了'謙卑的AI'一詞，指的是一種意識(shí)到自己能力、可以尋求幫助并隨著時(shí)間的推移而提高能力的AI。當(dāng)它發(fā)現(xiàn)超出其權(quán)限范圍時(shí)，它會(huì)將決定權(quán)傳遞給操作員或回退到其他安全操作模式。最終，這些新數(shù)據(jù)可以進(jìn)入模型，以提高AI的能力水平。"

　　這是一個(gè)重要的想法。AI不需要在一開始就到處工作。它可以在具有足夠數(shù)據(jù)以提供幫助和信任的地方使用。例如，AI可能不知道如何診斷工業(yè)系統(tǒng)中的新故障。它可以說，"我不知道，你是專家，請(qǐng)幫助我。"然而，AI可能知道足夠的信息來說明情況不是什么。"這不是故障A，但可能是故障B或故障C。"

　　當(dāng)開發(fā)人員接受局限性是一個(gè)因素時(shí)，這也有助于建立信任。Virani說："沒有對(duì)局限性的認(rèn)識(shí)，AI即使不知道答案也會(huì)做出決定。"與其冒著給出錯(cuò)誤建議和破壞用戶信任的風(fēng)險(xiǎn)，AI可以縮小選擇范圍。它仍然有幫助。它仍然可以是正確的。因此，它繼續(xù)在其有能力的領(lǐng)域建立信任并減少工作量。

　　"廣義AI面臨著在所有條件下工作的挑戰(zhàn)。" Virani說，但是，如果AI的所有數(shù)據(jù)都來自白天，那么它可能會(huì)在晚上遇到麻煩。你不可能在一開始就涵蓋所有的可能性。因此，對(duì)于模特來說，能夠說"我在這里不能被信任"是很重要的。它需要對(duì)自己的局限性有自我意識(shí)。從相關(guān)地區(qū)的支持開始，而不是完全自治。分階段地建立信任。

　　這提出了一種通過將復(fù)雜問題分解為更小的部分來部署AI的方法。起初，整體精度可能較低。例如，Virani與GE機(jī)器學(xué)習(xí)團(tuán)隊(duì)的一項(xiàng)合作表明，用于維護(hù)記錄標(biāo)記的AI模型可能總體性能較差(80%)，但在該模型認(rèn)為可以信任的能力范圍內(nèi)，它可以提供97%的準(zhǔn)確率。

　　因此，超過 50% 的文檔標(biāo)記案例可以自動(dòng)化，而其他案例需要一些人工幫助來標(biāo)記不明確或異常的實(shí)例。這些來自人類的新標(biāo)簽可用于更新模型。參與一個(gè)值得信賴的AI的訓(xùn)練，看到它的發(fā)展，可以成為它成為可信AI的堅(jiān)實(shí)基礎(chǔ)。

　　Boesl 說："我們?yōu)槊總€(gè)客戶區(qū)分任務(wù)。解決專用問題比解決一般問題更容易、更快捷。例如，我們教機(jī)器人如何插入特定的電纜，而不是一般的電纜。我們還對(duì)某個(gè)設(shè)施進(jìn)行培訓(xùn)，以捕捉其環(huán)境條件。AI可以通過重新校準(zhǔn)過程將技能轉(zhuǎn)移到第二根電纜或第二個(gè)設(shè)施，該過程捕獲場(chǎng)景之間的所有相關(guān)差異。重新校準(zhǔn)需要一些工作，但比從頭開始或創(chuàng)建完全通用的方法要少得多。通過這種方法，智能機(jī)器人可以在數(shù)小時(shí)或數(shù)天內(nèi)完成訓(xùn)練，而不是數(shù)周，以逐行對(duì)機(jī)器人進(jìn)行編程。此外，機(jī)器人可以再培訓(xùn)或以更少的投資改變生產(chǎn)線。"

　　Gorchet建議，與其針對(duì)所有可能的情況進(jìn)行訓(xùn)練，不如針對(duì)已經(jīng)發(fā)生的場(chǎng)景進(jìn)行訓(xùn)練。這可能比創(chuàng)建通用模型便宜，即使團(tuán)隊(duì)必須進(jìn)行多個(gè)特定的訓(xùn)練。

　　它有助于記住AI是一個(gè)不斷發(fā)展的領(lǐng)域。如果AI沒有提供所需的結(jié)果，那么這很可能不是AI今天能夠解決的問題。最好承認(rèn)這一點(diǎn)，而不是聲稱AI可以做它不能做的事情。因?yàn)楫?dāng)它第一次失敗時(shí)，信任就會(huì)被打破，很難重新獲得。

　　此外，用戶應(yīng)該能夠停止或暫停智能設(shè)備。Boesl表示，人們必須有一種感覺，即他們處于控制之中，如果出現(xiàn)問題，機(jī)器也可以關(guān)閉。人類控制機(jī)器，而不是機(jī)器控制人類。當(dāng)用戶覺得自己被控制時(shí)，可能會(huì)失去很多信任。同時(shí)，用戶需要解釋AI的局限性。例如，在工廠車間行走的人必須意識(shí)到移動(dòng)機(jī)器人通行權(quán)，或者如果他們踩到地板上的黑色和黃色膠帶，他們可能會(huì)受到嚴(yán)重傷害。

　　通過可解釋性建立對(duì) AI 的信任

　　可解釋性是建立AI信任的主要工具之一。簡(jiǎn)而言之，它的想法是，如果用戶了解AI如何做出決策，他們將更愿意相信其建議?？山忉屝缘牧硪粋€(gè)好處是，它可以更輕松地驗(yàn)證 AI 是否按預(yù)期執(zhí)行。這可以加速工程師的開發(fā)，并與用戶建立信任。

　　例如，經(jīng)理可能會(huì)問："為什么這個(gè)機(jī)器人這么慢?"雖然機(jī)器人可以走得更快，但它的速度是為了保護(hù)工人。Gorchet 描述了 AI 的"黑匣子"問題(圖 2)。試圖向用戶解釋神經(jīng)網(wǎng)絡(luò)的工作原理不是可解釋性的。

　　Petrick說："可解釋性始于，'我到底為什么要這樣做?' 如果不解釋原因，就會(huì)為不安和不信任奠定基礎(chǔ)。為了獲得員工的支持，鼓勵(lì)他們的參與，他們需要了解公司面臨的挑戰(zhàn)，AI如何提供幫助，以及他們自己在整個(gè)解決方案中的重要作用。只有這樣，你才能討論黑匣子里發(fā)生了什么。接下來，我們提倡用通俗易懂的語言解釋AI是如何工作的。接下來是 AI 如何分解任務(wù)、評(píng)估任務(wù)以及如何提出建議。正因?yàn)锳I解決方案可以100%自動(dòng)化，它可以幫助分階段引入這種自動(dòng)化。一旦用戶收到正確的建議，他們往往會(huì)更放心地將該決定作為合作伙伴發(fā)布給AI。"

　　Gorchet描述了如何使用優(yōu)質(zhì)產(chǎn)品的圖像進(jìn)行培訓(xùn)，這樣就不需要貼標(biāo)簽了。當(dāng)AI認(rèn)為它檢測(cè)到缺陷時(shí)，它會(huì)在它認(rèn)為缺陷所在的地方繪制一個(gè)分割掩碼。你可以看到系統(tǒng)為什么會(huì)做出這樣的決定。如果掩碼顯示的東西不是缺陷，則系統(tǒng)會(huì)學(xué)習(xí)錯(cuò)誤并可以糾正它。

　　Virani將能力和可解釋性聯(lián)系在一起。特定AI在某些驗(yàn)證數(shù)據(jù)集上的整體準(zhǔn)確性并不像了解當(dāng)前建議的預(yù)期準(zhǔn)確性那么重要。還需要一定程度的可解釋性來解釋為什么AI在特定情況下有信心或不自信。例如，使用帶有標(biāo)簽的訓(xùn)練數(shù)據(jù)創(chuàng)建包裝器使 AI 能夠引用用于做出決策的相關(guān)數(shù)據(jù)。我們已經(jīng)探索了AI模型的這種基于示例的可解釋性，以便為它們?cè)谖覀兊捻?xiàng)目中的預(yù)測(cè)提供理由。當(dāng)然，這并不總是有用的。如果決策是在圖像的像素級(jí)別做出的，那么當(dāng)AI向他們展示來自訓(xùn)練數(shù)據(jù)的像素示例時(shí)，用戶可能無法理解他們?cè)诳词裁础?/p>

　　這是可解釋性問題的一部分。AI可能很復(fù)雜，可用的工具為開發(fā)人員抽象了這種復(fù)雜性。例如，對(duì)于無代碼生成的AI系統(tǒng)，開發(fā)人員告訴AI他們想要做什么，AI生成自己的程序。然而，這種抽象只會(huì)使黑匣子更加不透明。開發(fā)人員檢查AI所能做的就是輸入數(shù)據(jù)并驗(yàn)證結(jié)果是否正確。在某些情況下，可能幾乎沒有可解釋性。

　　Petrick說："如果開發(fā)人員不理解或無法解釋黑匣子的工作原理，那么用戶怎么能理解呢?如果理解和評(píng)估AI的可靠性需要太多的工作，用戶可能會(huì)認(rèn)為不使用AI更有效率。"

　　解決可解釋性挑戰(zhàn)的一種方法是雙向溝通。Petrick說："AI工程師正在艱難地學(xué)習(xí)，他們不了解工廠車間的細(xì)微差別。在工廠車間訓(xùn)練的AI解決方案應(yīng)該很容易轉(zhuǎn)移到另一個(gè)以相同方式布置的工廠。但事實(shí)往往并非如此。例如，照明、灰塵、噴水、相機(jī)角度等環(huán)境因素使每種情況都不同。有效的可解釋性包括一個(gè)反饋渠道，使用AI的用戶可以在其中提供有關(guān)AI如何不能滿足他們需求的見解。"

　　倫理在AI中的作用

　　信任的一部分包括感覺用戶的最大利益被牢記在心。當(dāng)用戶感到害怕或他們不是必需的時(shí)，信任就會(huì)受到侵蝕。

　　Petrick說："機(jī)器人解放了人們?nèi)プ鲋挥腥祟惒拍芡瓿傻娜蝿?wù)。機(jī)器人有助于最大限度地發(fā)揮一個(gè)人創(chuàng)造價(jià)值的潛力。但是，當(dāng)AI被認(rèn)為比用戶更可靠時(shí)，這可能會(huì)使用戶和AI發(fā)生沖突。用戶需要能夠說，'我做決定。AI幫助了我，做了我不想做的事情。' 目前，只有20%的受訪制造商考慮AI技術(shù)的道德規(guī)范。許多人認(rèn)為道德都是關(guān)于數(shù)據(jù)偏見的。例如，氧脈監(jiān)護(hù)儀中的AI對(duì)深色皮膚的影響可能較小，因?yàn)楣こ倘藛T沒有意識(shí)到傳感器不能很好地讀取。數(shù)據(jù)偏差的挑戰(zhàn)之一是偏差不是故意的。這通常是一個(gè)盲點(diǎn)，一種沒有人考慮過的可能性。但這并不是唯一需要考慮的道德問題。"

　　隱私對(duì)于信任也至關(guān)重要。操作員想知道如何使用有關(guān)它們的數(shù)據(jù)。Petrick說："我們傾向于衡量最容易衡量的東西。"

　　辦公室工作人員不希望通過他們點(diǎn)擊鼠標(biāo)的次數(shù)來評(píng)估他們的生產(chǎn)力，因?yàn)檫@并不能準(zhǔn)確反映他們所做的工作。操作員對(duì)可用于對(duì)他們的生產(chǎn)力的任意評(píng)估也有同樣的感覺。考慮一個(gè)用戶，由于他們的專業(yè)知識(shí)而遇到更多麻煩的情況;由于難度較高，它們產(chǎn)生的產(chǎn)量更少。系統(tǒng)需要在操作過程中了解一個(gè)人，但有些人認(rèn)為需要從數(shù)據(jù)中清除這個(gè)人。Petrick說："這個(gè)行業(yè)在隱私方面只是冰山一角。"

　　還有公平的因素需要考慮進(jìn)去。Virani說："考慮一個(gè)想要推薦最好的技術(shù)人員來修復(fù)某些問題的 AI。如果數(shù)據(jù)集不夠多樣化，AI會(huì)讓這個(gè)人只做他們以前做得很好的任務(wù)。這不僅會(huì)成為技術(shù)人員的負(fù)擔(dān)，而且從道德的角度來看，技術(shù)人員將沒有機(jī)會(huì)獲得新的經(jīng)驗(yàn)和在公司內(nèi)成長(zhǎng)。因此，當(dāng)人員參與其中時(shí)，需要確保他們的需求也得到滿足。"

　　這種方法也可能造成單點(diǎn)故障，因?yàn)橹挥杏邢薜募夹g(shù)人員獲得處理此問題的經(jīng)驗(yàn)。你的人才庫中可能有更多的選擇，但它們從未被探索過，所以沒有其他人可以學(xué)習(xí)如何解決這個(gè)問題。

　　當(dāng)談到問責(zé)制時(shí)，Petrick說，"當(dāng)AI失敗時(shí)會(huì)發(fā)生什么，看起來用戶有責(zé)任?可解釋性需要擴(kuò)展，以便不僅能夠解釋將要發(fā)生的事情，而且能夠解釋實(shí)際發(fā)生的事情。如果用戶不相信他們有辦法保護(hù)自己，他們對(duì)系統(tǒng)的信任就會(huì)降低。這不是毫無根據(jù)的考慮。工程師們正在為他們從未工作過的環(huán)境創(chuàng)造AI。"

　　考慮數(shù)據(jù)的道德使用。Boesl說："有了像GDPR這樣的法規(guī)，關(guān)于誰擁有數(shù)據(jù)有很多爭(zhēng)論。還可能出現(xiàn)道德問題。例如，一家AI公司是否可以使用在客戶設(shè)施收集的數(shù)據(jù)來改善客戶競(jìng)爭(zhēng)對(duì)手的運(yùn)營(yíng)?如果不仔細(xì)解決，這樣的問題可能會(huì)破壞信任。"

　　道德問題只會(huì)變得更加普遍和復(fù)雜。如今，相機(jī)對(duì)準(zhǔn)生產(chǎn)線。但是，當(dāng)這些相機(jī)轉(zhuǎn)身并包括用戶時(shí)，必須考慮廣泛的道德問題，這些問題因國(guó)家而異。

　　正如我們所看到的，信任對(duì)于充分利用AI技術(shù)至關(guān)重要。有了可解釋性，可以更快地建立信任，并得到用戶的支持。當(dāng)?shù)赖聠栴}被認(rèn)為很重要時(shí)，這是保護(hù)信任不被破壞的最佳防御措施。