機(jī)器人如果操作出現(xiàn)錯(cuò)誤，或者可能會(huì)導(dǎo)致不可逆的結(jié)果時(shí)，這個(gè)“紅色按鈕”可以發(fā)揮作用，幫助機(jī)器人從緊張的局勢(shì)中脫離出來，甚至可以臨時(shí)讓機(jī)器人完成某個(gè)未學(xué)習(xí)過如何執(zhí)行的任務(wù)。

三個(gè)月前，谷歌旗下人工智能公司DeepMind研發(fā)的圍棋人工智能程序AlphaGo以4:1的總比分擊敗了韓國圍棋世界冠軍李世石，成為人工智能多年歷史上的關(guān)鍵時(shí)刻。

三個(gè)月后，AlphaGo可能與排名世界第一的中國棋手柯潔交手的消息再度讓輿論沸騰。盡管目前這一消息還在溝通階段，不過，早在李世石和AlphaGo的那一場(chǎng)人機(jī)大戰(zhàn)之時(shí)，柯潔就曾在微博上提出挑戰(zhàn)人工智能的希望。

AlphaGo戰(zhàn)勝圍棋世界冠軍這一里程碑式的事件不僅讓科技圈振奮，也引發(fā)了AI超越人類的擔(dān)憂。“人工智能可能具有不可預(yù)測(cè)性，也可能會(huì)違反人類道德。”一位專家在新近發(fā)布的論文中表示。

現(xiàn)在，DeepMind自己站了出來，說他們將有解決方案—一個(gè)關(guān)閉人工智能的“紅色按鈕”。

與此同時(shí)，這家公司認(rèn)為外界過于集中科幻電影中有關(guān)人工智能的炒作，比如《機(jī)械姬》和《終結(jié)者》等。他們認(rèn)為科幻小說和影視作品錯(cuò)誤地描述了人工智能的未來發(fā)展方向。

“我們創(chuàng)造人工智能是為了賦予它們?nèi)诵?，絕非為了毀滅自己。”DeepMind創(chuàng)始人之一的穆斯塔法·蘇萊曼說道。

AI“大紅色按鈕”

倫敦國王十字地區(qū)的一棟新大樓里，DeepMind的實(shí)驗(yàn)室雇用了來自全球各地的140名研究專家。DeepMind的目標(biāo)是通過開發(fā)強(qiáng)大的通用學(xué)習(xí)算法，將其融入到人工智能系統(tǒng)或智能程序中，以確保機(jī)器能夠進(jìn)行自我學(xué)習(xí)。

2014年，DeepMind在《自然》雜志上發(fā)表了一篇論文而成為公眾矚目的焦點(diǎn)。這篇論文講的是如何在預(yù)先給計(jì)算機(jī)設(shè)定程序讓其自學(xué)雅達(dá)利公司的游戲，而且玩得比大部分人要好。DeepMind的人工智能能夠把從上一次游戲中學(xué)到的知識(shí)用于下一次游戲。創(chuàng)始人蘇萊曼稱這是人工智能研究很長時(shí)間以來的一次重大突破。

如今在57款雅達(dá)利游戲中，DeepMind的人工智能程序已經(jīng)能熟練地暢玩49款雅達(dá)利公司的游戲，包括《太空入侵者》《吃豆人》等。在最新版本的人工智能中，DeepMind甚至加入了一種名為“好奇心”的內(nèi)部激勵(lì)機(jī)制，使得人工智能不僅能夠更趨向于獲得更高分，并積極探索更多不同的游戲方法獲得更好的回報(bào)。

而正是這接近學(xué)習(xí)人腦的突破，引起了人們對(duì)人工智能的憂慮。

為了阻止人工智能控制人類，DeepMind團(tuán)隊(duì)已經(jīng)開始著手，探討建立可以使人工智能喪失能力或暫停工作的邏輯框架。

在DeepMind研究開發(fā)人員看來，人工智能不可能每時(shí)每刻都以最佳模式工作。機(jī)器或許會(huì)因?yàn)槿祟愓Z言太過微妙，錯(cuò)誤地理解了人類的指示而摧毀人類。

團(tuán)隊(duì)呼吁應(yīng)在人工智能系統(tǒng)中構(gòu)建“安全的可中斷能力”。

團(tuán)隊(duì)成員之一勞倫特和來自牛津大學(xué)人類未來研究所的阿姆斯特朗博士合著了一篇論文發(fā)表在機(jī)器智能研究所（MIRI）的網(wǎng)站上。

在這篇論文中，他們表示：“人工智能程序必須在人類實(shí)時(shí)監(jiān)控下運(yùn)行，為了預(yù)防這些程序繼續(xù)實(shí)行有害行為，人類操作者需要獲得按下‘紅色按鈕’的權(quán)限和能力。”

機(jī)器人如果操作出現(xiàn)錯(cuò)誤，或者可能會(huì)導(dǎo)致不可逆的結(jié)果時(shí)，這個(gè)“紅色按鈕”可以發(fā)揮作用，幫助機(jī)器人從緊張的局勢(shì)中脫離出來，甚至可以臨時(shí)讓機(jī)器人完成某個(gè)未學(xué)習(xí)過如何執(zhí)行的任務(wù)。

盡管如此，他們也承認(rèn)“我們還不明確，是不是對(duì)所有算法來說，都能輕而易舉地賦予可被安全中斷的特性”。

高度人性化

2015年，牛津大學(xué)的阿姆斯特朗博士就警告說，盡管機(jī)器人被指示要保護(hù)人類，人類也有可能被滅絕。

據(jù)英國《電訊報(bào)》報(bào)道，阿姆斯特朗預(yù)測(cè)，機(jī)器人將會(huì)以人類大腦無法理解的超高速工作，從而略過與人類的通信進(jìn)而控制經(jīng)濟(jì)、金融市場(chǎng)，還有交通、醫(yī)療等。“接下來的100年中，你能想象到的人類能做的事情，人工智能都有可能非常快地完成”。

阿姆斯特朗因此擔(dān)心，人類語言如此微妙，有可能會(huì)被誤讀。一條簡(jiǎn)單的“阻止人類繼續(xù)承受痛苦”的指令，可能會(huì)被超級(jí)計(jì)算機(jī)解讀為“殺掉所有的人類”，而“保證人類的安全”則可能讓機(jī)器把所有人禁閉起來。

在阿姆斯特朗看來，在機(jī)器人超越人類，甚至是意外地滅絕人類之前，研發(fā)人工智能研究的保障措施是一場(chǎng)與時(shí)間的競(jìng)賽。

“可能會(huì)成為人類歷史上一場(chǎng)最重大的事件，而且不幸的是，也可能是最后一件。”阿姆斯特朗表示。

阿姆斯特朗博士并不是第一個(gè)危言聳聽的人。2015年11月，有硅谷鋼鐵俠之稱的特斯拉創(chuàng)始人馬斯克也曾警告說，僅僅在屈指可數(shù)的五年之后，就可能會(huì)因?yàn)闄C(jī)器擁有人工智能，讓人類面臨“一些極其危險(xiǎn)的事情”的威脅。

“我們正用人工智能召喚惡魔。你知道這個(gè)故事，有一個(gè)人拿著五角星一樣的東西，還帶著圣水......他確定自己能夠控制惡魔嗎？”馬斯克這樣說道。

目前業(yè)內(nèi)認(rèn)為有一種解決方法是，把道德準(zhǔn)則教給機(jī)器人，但是阿姆斯特朗博士對(duì)這點(diǎn)是否可行不抱太大希望。因?yàn)槿祟惏l(fā)現(xiàn)自己都很難區(qū)分對(duì)錯(cuò)，而且就行為規(guī)范來講，人類通常也不是好的榜樣。

2016年，馬斯克和霍金在內(nèi)的一眾科學(xué)家和企業(yè)家簽署了一份公開信，承諾要保證人工智能研究能夠讓人類受益。這封公開信警告說，智能機(jī)器如果沒有安全保障，人類的未來可能會(huì)一片黑暗。

目前，為了對(duì)人工智能進(jìn)行更高程度的人性化，就是建立倫理委員會(huì)來監(jiān)督DeepMind人工智能技術(shù)使用。

早在谷歌的收購之前，DeepMind就把建立倫理和安全委員會(huì)作為谷歌收購的條件。谷歌不能允許把DeepMind的人工智能研究成果用于軍事和情報(bào)目的。

盡管學(xué)術(shù)界和媒體一再要求，谷歌在收購DeepMind一年之后仍未公布更多的關(guān)于這個(gè)倫理委員會(huì)的信息。只知道谷歌已經(jīng)任命了一位委員會(huì)成員，但并未公布此人身份。

創(chuàng)始人蘇萊曼不肯透露人工智能倫理委員會(huì)的構(gòu)成、其成員如何挑選、以何種機(jī)制運(yùn)作以及擁有哪些權(quán)利。他只是說谷歌建立了一支由學(xué)者、政策研究者、經(jīng)濟(jì)學(xué)家、哲學(xué)家和律師構(gòu)成的團(tuán)隊(duì)處理倫理問題，但目前只有三四名成員在關(guān)注這些問題。

蘇萊曼說：“我們會(huì)在適當(dāng)?shù)臅r(shí)機(jī)公布這些信息。”

更多資訊請(qǐng)關(guān)注工業(yè)機(jī)器人頻道