下圍棋、玩德州撲克，大家看到的往往是AI風(fēng)光的一面。殊不知訓(xùn)練AI往往卻要靠人工提供獨(dú)特的數(shù)據(jù)給它學(xué)習(xí)。由于最近YouTube爆發(fā)了在宣揚(yáng)暴力的視頻旁邊放置廣告的風(fēng)波，使得《連線》把目光瞄準(zhǔn)了訓(xùn)練AI的一個幕后的臨時工群體。而這個群體的處境有可能會對AI的品質(zhì)造成不好的影響。

每天，在美國各地，那些替Google工作的人都會登錄進(jìn)自己的計(jì)算機(jī)開始觀看YouTube，為的是找出視頻里面的暴力。他們從視頻標(biāo)題里找出帶有仇恨的語言。他們決定某個視頻剪輯應(yīng)該分類為“攻擊性”的還是“敏感性”的。他們是Google所謂的“廣告質(zhì)量評估師”，是由外部代理商雇傭的臨時工，作為判斷機(jī)器還沒有辦法自行做出判斷的彌補(bǔ)措施。現(xiàn)在Google顯然迫切需要這些人的幫忙。

YouTube，這個Google旗下的視頻巨頭，每天都要在網(wǎng)站播放的數(shù)百萬視頻當(dāng)中穿插廣告。自動系統(tǒng)確定這些廣告在什么地方出現(xiàn)，廣告主往往并不知道自己的廣告會出現(xiàn)在哪一個視頻的旁邊。最近這種不確定性已經(jīng)給Google惹來了大麻煩。在多份報(bào)告披露Google允許在宣傳仇恨和恐怖主義的視頻邊上放置廣告之后，該公司已經(jīng)在接受審查。諸如沃爾瑪、百事可樂、Verizon等廣告主以及范圍更廣的Google廣告網(wǎng)絡(luò)已經(jīng)摒棄了這個平臺。

Google極力淡化這次事件，說媒體夸張了攻擊性視頻旁邊放置廣告問題的嚴(yán)重性。該公司說：標(biāo)記視頻收到的“印象占比還不到廣告商總印象的1/1000”。Google的CBOPhilippSchindler則強(qiáng)調(diào)問題僅影響到“非常非常少量”的視頻。但廣告評估師說公司正在集結(jié)他們以防問題變糟。

“我們非常清楚在評估內(nèi)容的時候，人類的眼睛，還有大腦都需要審慎的思考?！鼻皬V告評估師。

由于Google90%的收入來自廣告主，所以它需要防止定向廣告到攻擊性視頻造成更多的損失。但用戶每天上傳的新視頻長達(dá)60萬小時，這需要一座小型城市規(guī)模的人夜以繼日的處理才能看完。所以搜索巨頭才會強(qiáng)調(diào)，開發(fā)出可標(biāo)記日益增多的攻擊性視頻的人工智能內(nèi)容過濾器是很難的。Schindler說：“這個問題無法由人來解決，也不應(yīng)該由人來解決?！?/p>

問題是公司仍然要靠人來訓(xùn)練AI。于是Google仍然要依賴一群工人去識別和標(biāo)記攻擊性材料，然后把這些作為AI的訓(xùn)練數(shù)據(jù)。但據(jù)一些廣告評估師透露，由于Google跟他們的溝通不暢，再加上這份工作的不穩(wěn)定性，導(dǎo)致了他們沒有辦法把工作做好。而這個就會影響到AI識別的精確度。

人類任務(wù)

技術(shù)公司雇傭內(nèi)容版主由來已久，隨著大家上傳和分享的內(nèi)容越來越多，這項(xiàng)工作對于互聯(lián)網(wǎng)巨頭也變得愈發(fā)重要。Google的廣告評估師工作可不僅僅是監(jiān)控視頻。他們還要讀評論區(qū)標(biāo)記出用戶爆粗的言語。要檢查Google廣告網(wǎng)絡(luò)服務(wù)的各種網(wǎng)站，確保符合公司的質(zhì)量標(biāo)準(zhǔn)。他們還要按照零售、新聞等目錄對網(wǎng)站進(jìn)分類，并且點(diǎn)擊廣告鏈接看看是否有效。同時正如他們的名字所示那樣，他們還得對廣告本身的質(zhì)量進(jìn)行評價(jià)。

今年3月，在廣告商的抵制下，Google讓評估師把其他工作都先放到一邊，去執(zhí)行一個“高優(yōu)先級的評估項(xiàng)目”。新項(xiàng)目意味著這群評估師幾乎所有的精力都要集中在YouTube上面——檢查視頻內(nèi)容，或者整個頻道，看看有沒有一系列可能因此廣告主反感的東西。這是一個很大的變化。

而且評估師稱，從自己手頭的工作量來看，數(shù)量和速度的優(yōu)先級要比準(zhǔn)確性更高。在某些情況，這幫人甚至要在2分鐘內(nèi)審核時長數(shù)小時的視頻。在一個匿名的在線論壇上，評估師相互交流省時的辦法——比方說，說唱視頻就快速瀏覽一下歌詞看看有沒有褻瀆的話就行了，或者用10秒鐘粗略看看視頻剪輯而不是完全看完。會有計(jì)時器記錄每個視頻審查所需的時間，盡管這只是建議的期限，但評估師說這給他們增加了壓力。有人擔(dān)心積壓的視頻過多會害得自己被炒。

廣告評估師的工作不僅僅只是把視頻標(biāo)記為不合適。他們還被要求對視頻標(biāo)題和內(nèi)容進(jìn)行細(xì)顆粒度的評估——要進(jìn)行分類，比方說，是否包含“不合適語言”，如“褻瀆”、“仇恨發(fā)言”或者“其他”等；或者是否屬于“暴力”，子類包括“恐怖主義”、“戰(zhàn)爭和沖突”、“死亡和悲劇”等等。此外還有黃毒方面的分類。系統(tǒng)還為廣告評估師提供“其他敏感內(nèi)容”選項(xiàng)——這在比方說有人分享了極端政治言論的時候可以用得上。（AdAge最近報(bào)道稱Google現(xiàn)在允許客戶取消在“性暗示”、“轟動、聳人聽聞”以及包含“褻瀆、粗俗”的內(nèi)容旁展示廣告。）

但廣告評估師說，有些內(nèi)容未必就能找到合適的位置歸類。這種情況下，評估師就會把材料標(biāo)記為“無法歸類”。一位現(xiàn)任評估師講述了自己是如何評估兩個講西班牙語的人進(jìn)行說唱大戰(zhàn)的。“我把材料歸類為無法歸類是因?yàn)樗麄冎v外語。同時我還添加了一段評論，稱視頻里面的人似乎在用外語相互辱罵，但無法確定他們是否說了臟話?！保ㄒ晃磺霸u估師說，從最近的招聘判斷，Google似乎更青睞懂雙語的評估師。當(dāng)視頻語言自己不懂時，評估師還可以勾選某個選項(xiàng)。）

多名廣告評估師稱自己被要求觀看內(nèi)容令人震驚的視頻。有一位評估師說，有人試圖發(fā)布自殺的視頻。有一個人把自己的轎卡點(diǎn)燃，然后把槍對準(zhǔn)自己自殺了。在廣告評估師頻繁訪問的一個論壇上，匿名發(fā)帖者稱自己曾經(jīng)見過虐待婦女、兒童以及動物的視頻。有幾個發(fā)帖者稱，在連續(xù)看了好幾個類似視頻之后，自己被迫休息才能緩過來。廣告評估師稱自己并不清楚Google是如何給自己挑選需要觀看的視頻的——在評估前自己只能看到視頻的標(biāo)題和縮略圖。此外，評估師經(jīng)常觀看的視頻還包括有人講話的視頻游戲、政治類視頻，以及陰謀論等。

綜合來看，評估視頻所需的工作范疇和對微妙之處的把握說明Google仍然需要人的幫助來處理YouTube的廣告問題。Google在一份像廣告評估師說明評估工作目的的文檔中說：“我們有很多信息來源，但你們是我們最重要的來源之一。”但盡管只有機(jī)器智能才能處理YouTube的內(nèi)容規(guī)模，就像Google高管和代表反復(fù)強(qiáng)調(diào)的那樣，除非Google的機(jī)器已經(jīng)聰明到能夠分辨真正的攻擊性言論與其他表達(dá)形式的不同，此類努力就仍然需要靠人來幫助完成。

Google發(fā)言人ChiHeaCho說：“我們一直都在靠技術(shù)與人工審核的結(jié)合來審分析標(biāo)記內(nèi)容，因?yàn)閷σ曨l內(nèi)容的理解是非常主觀的。最近我們增加了更多人手來加速審核。這些審核幫助訓(xùn)練我們的算法，讓它們能不斷改善?！?/p>

人力資源

據(jù)兩個消息來源透露，Google的廣告質(zhì)量評估師計(jì)劃始于2004年。計(jì)劃參照了Google的搜索質(zhì)量評估計(jì)劃，一開始主要服務(wù)于Google核心的廣告活動：根據(jù)搜索結(jié)果產(chǎn)生相應(yīng)廣告的AdWords，以及通過Google把廣告放置到網(wǎng)站上的AdSense。原先的廣告評估師招聘代理ABE給他們的時薪是20美元。一位前評估師說，他們可以全職工作甚至加班工作。2006年，在評估師稱工作條件變得不那么令人滿意之后，WorkForceLogic收購了ABE。然后到了2012年，一家名為ZeroChaos的公司收購了WorkForceLogic，前者就變成了跟評估師簽合同的甲方至今。

廣告評估工作往往能吸引喜歡工作條件更靈活的人，比如剛剛進(jìn)入工作的大學(xué)畢業(yè)生，接近退休年齡的工人，家庭主婦，以及身體有殘障的個人。只要能滿足每周10小時的最低工作要求，廣告評估師可以隨時隨地開展工作。評估師只需要有自己的桌面計(jì)算機(jī)和移動設(shè)備就能開始工作。

但這項(xiàng)工作天生的不穩(wěn)定會對許多工人造成傷害。一位廣告評估師說，我們當(dāng)中大部分的人都喜歡這份工作，但不會有機(jī)會成為永久性的全職員工。

盡管Google廣告評估師合同工大部分都是跟ZeroChaos簽署的合同，但代理的機(jī)構(gòu)并不只有這一家。ZeroChaos的合同是1年1簽，而且直到最近他們的規(guī)矩還是連續(xù)工作2年后就不再聘用。一些工人認(rèn)為這一限制導(dǎo)致Google無法找到最適合這份工作的有經(jīng)驗(yàn)的評估師。（不過在4月初的時候ZeroChaos通知廣告評估師稱這一規(guī)定已經(jīng)取消）。廣告評估師的薪酬也沒有得到提高——他們的時薪是15美元，一周最多可以工作29小時，但是并不能保證有足夠任務(wù)達(dá)到這一閾值。工人稱自己突然就會被解雇，既沒有事先警告或者給出理由——有多位員工證實(shí)了這一點(diǎn)，甚至其中一位才工作了一周。公司會用一封敷衍了事的電子郵件通知工人被辭退。

Cho說：“在提供好的的工作條件方面，Google致力于跟有著良好履歷的供應(yīng)商合作。一旦問題引起我們的注意，我們就會提醒這些供應(yīng)商關(guān)注員工訴求，要求雙方協(xié)作來解決問題。我們會進(jìn)一步關(guān)注此事。”

跟Google缺乏清晰的溝通本身也放大了廣告評估師對就業(yè)的不安全感。他們從來都沒有見過自己服務(wù)的那些人，包括在面試過程期間，他們唯一的聯(lián)絡(luò)方式就是一個名為“廣告評估管理團(tuán)隊(duì)”的郵件地址，Google告訴評估師只有遇到任務(wù)相關(guān)問題時才能使用。評估師發(fā)送郵件給對方時，只會收到自動回復(fù)。對此Google回應(yīng)稱：“鑒于接收到的報(bào)告規(guī)模，管理者并不會對個別問題作出響應(yīng)：相反，我們監(jiān)控收到的報(bào)告以盡快偵測出系統(tǒng)范圍內(nèi)的問題。如果你需要單獨(dú)回應(yīng)，或者采取特殊行動，請聯(lián)絡(luò)你的合同管理員?！?/p>

一位前廣告評估師說：“山景城那一頭的人就像是幕布背后的巫師。我們非常想像真正的同事那樣跟他們溝通，但結(jié)果卻沒有?！?/p>

至于Google，搜索巨頭的確告訴評估師說他們做的工作很重要，即便并沒有說清楚重要的原因是什么。

公司在一份培訓(xùn)材料中解釋說：“我們未必能告訴你每一項(xiàng)任務(wù)是干什么用的，但肯定都是我們認(rèn)為重要的東西。你不會經(jīng)常聽到自己工作的成果是什么。實(shí)際上，有時候你的工作看起來就像流進(jìn)黑洞一樣……盡管你未必總能看到自己工作的影響，但你的工作是重要的，而且Google有很多人在非常非常仔細(xì)地進(jìn)行審核?！?/p>

這種仔細(xì)有時候甚至到了令一些工人感到不舒服的程度。Google會將一些已經(jīng)過審核的內(nèi)容混進(jìn)分配給廣告評估師的任務(wù)當(dāng)中來考察他們的表現(xiàn)。Google給廣告評估師的一封郵件中寫道：“這些測試以正常的任務(wù)出現(xiàn)，你會像正常工作一樣收到這些題目。但是我們不會告訴哪些是測試題目……我們會利用考試分?jǐn)?shù)來評估你的表現(xiàn)。得分很低的話可能會導(dǎo)致分配給你的任務(wù)終止?！?/p>

把已經(jīng)知道答案的問題嵌入進(jìn)來是眾包調(diào)研的一樁常見做法。這種策略往往用來確定調(diào)研人員是不是隨便亂點(diǎn)東西，往往被玩笑為從業(yè)者的圖靈測試。

但GeorgiaTechAI的研究人員MarkRiedl不認(rèn)同這種做法：“眾包工人不應(yīng)該被視為是機(jī)器，相反我們需要認(rèn)識到眾包工人是人，對于這些人我們有著倫理道德方面的責(zé)任，在設(shè)計(jì)任務(wù)的時候應(yīng)該意識到他們的尊嚴(yán)?！?/p>

當(dāng)然，對于部分同事提出的這些問題，并不是所有的廣告評估師都吹毛求疵。15美元的時薪仍然高于大多數(shù)城市的最小工資。一位廣告評估師仍然對ZeroChaos提供的機(jī)會表示感謝：“甚至連麥當(dāng)勞都拒絕我的情況下ZeroChaos卻不關(guān)心我有沒有犯罪背景?！倍辔辉u估師說在拿到這份工作前自己已經(jīng)接近無家可歸或者需要領(lǐng)食物救濟(jì)券的地步。

但也有人說這種靈活性往往最終對他們并不有利，即便他們需要依賴這份工作?？梢栽诩夜ぷ鞑⑶疫x擇自己的工作時間算是一種特殊待遇。但據(jù)一份ZeroChaosFAQ，廣告評估師被禁止同時為其他公司工作。一位前廣告評估師說因?yàn)檫@項(xiàng)禁令自己無法同時打兩份工，所以現(xiàn)在她每周也就比失業(yè)的時候多拿40美元。這樣是撐不下去的。

人機(jī)連接

技術(shù)界的大公司往往都會雇用臨時工參與到訓(xùn)練AI系統(tǒng)的重復(fù)性任務(wù)。一位廣告評估師提到自己幾年前曾經(jīng)替微軟評估Bing的搜索結(jié)果，這種工作的強(qiáng)度很大，每小時大概要審查多達(dá)80頁的搜索結(jié)果。LinkedIn和Facebook也雇用人來執(zhí)行類似的工作，LinkedIn主要是做數(shù)據(jù)注釋，而Facebook則是評估粉絲頁面的“贊助帖子”。

臨時工作的不安全感以及普遍的人員流動性令新老員工感到不安，這些人認(rèn)為Google正失去在這份工作上花費(fèi)時間更多的老員工才具備的系統(tǒng)知識。一位前廣告評估師表示：“他們把錢浪費(fèi)在了培訓(xùn)新人上面然后又把人攆出大門?！?/p>

但是廣告評估師的人員流失也許正好反映出讓AI變得更聰明的最佳實(shí)踐。人工智能研究人員和行業(yè)專家說，輸入數(shù)據(jù)的人類培訓(xùn)師的定期輪換對于訓(xùn)練AI更好。AI初創(chuàng)企業(yè)NaraLogics的CEOJanaEggers說：“AI需要許多看法，尤其是在類似攻擊性內(nèi)容方面?！北M管最高法院并未就什么是猥褻做出描述，但是“當(dāng)我看到時就能做出判斷”這種極限值測定依然有效?！敖o機(jī)器更多觀察的眼睛有望得到更好的結(jié)果?！?/p>

但盡管AI研究人員通常同意人低落的士氣未必就會導(dǎo)致糟糕的機(jī)器學(xué)習(xí)，但也許會產(chǎn)生源自其工作環(huán)境和體驗(yàn)的，更為微妙的影響?？的螤柎髮W(xué)AI教授BartSelman說：“經(jīng)常有觀點(diǎn)認(rèn)為獲取大量不同輸入是訓(xùn)練AI模型的好辦法。這個作為一般指南來說是好的，但在道德判斷上，眾所周知，大多數(shù)群體都存在著根深蒂固的嚴(yán)重偏見?！盨elman舉例說，比如大家的普遍看法是男性在特定類型的工作方面要優(yōu)于女性，反之亦然?！澳敲?，如果你基于普通組觀點(diǎn)或者過去的招聘決定來訓(xùn)練AI招聘模型，你就會得到代表一般人群觀念的隱藏偏見?！倍绻Y(jié)果表明你主要靠一群焦慮的臨時工的認(rèn)知來訓(xùn)練AI的話，他們最終可能會把自己獨(dú)特的偏見帶進(jìn)那些系統(tǒng)里面。

Selman說：“你不會想通過讓AI倫理模塊觀察普通人群日常所為來訓(xùn)練這種AI。你應(yīng)該從那些更加審慎地考慮了潛在偏見以及道德問題的人那里獲取輸入才對?！?/p>

在山景城的Google人享受著別致的園區(qū)，免費(fèi)的美食，以及撞球、桌上足球等娛樂手段。這些跟典型的廣告評估師得到的待遇實(shí)在是差得太遠(yuǎn)?，F(xiàn)在替全球最有價(jià)值的公司工作可以意味著奢侈的福利以及豐厚的工資。也可以意味著作為臨時工機(jī)械地執(zhí)行那些重復(fù)性的任務(wù)，好訓(xùn)練公司的機(jī)器執(zhí)行相同的工作。

更多資訊請關(guān)注人機(jī)界面頻道