可能都會(huì)覺(jué)得懷校長(zhǎng)有點(diǎn)像個(gè)外星人一般在那自顧自的演講。作為一個(gè)曾經(jīng)有志從事人工智能研究但失之交臂的又是學(xué)計(jì)算機(jī)畢業(yè)的人卻越聽(tīng)越興奮,冥冥中似乎找到了未來(lái)的人工智能所能抵達(dá)的可能性,那么筆者現(xiàn)在就嘗試把懷教授的演講轉(zhuǎn)換為大家也能夠聽(tīng)懂的語(yǔ)言吧。
一、理解大數(shù)據(jù)
1、當(dāng)前大數(shù)據(jù)的四大特征:規(guī)模大、變化快、種類(lèi)雜、價(jià)值密度低。
其實(shí)這理解起來(lái)很簡(jiǎn)單,我們來(lái)看新浪微博的大數(shù)據(jù),為什么變現(xiàn)那么困難就知道了,新浪微博擁有龐大海量的用戶大數(shù)據(jù),但用這些行為數(shù)據(jù)變現(xiàn)卻步履維艱,原因就在于微博上所產(chǎn)生的數(shù)據(jù)不夠垂直,涉及面極廣,而能夠與商業(yè)相關(guān)的價(jià)值就更加難以挖掘了。
2、產(chǎn)業(yè)成果
懷校長(zhǎng)列舉了三塊內(nèi)容,百度和谷歌熟悉用戶瀏覽行為,進(jìn)而提供個(gè)性化的搜索。淘寶亞馬遜因?yàn)槭煜び脩糍?gòu)物習(xí)慣,可以為用戶提供精準(zhǔn)的喜好物品。微博和twitter了解用戶思維習(xí)慣和社會(huì)認(rèn)知,可以為國(guó)家和企業(yè)提供民眾情緒等系列數(shù)據(jù)。
二、大數(shù)據(jù)到大數(shù)據(jù)計(jì)算
1、大數(shù)據(jù)膨脹,如何處理算法以及數(shù)據(jù)的問(wèn)題?上面提到的是通過(guò)改變算法來(lái)達(dá)到遍歷數(shù)據(jù)的目的,但是在真正處理數(shù)據(jù)時(shí)依然是無(wú)法做到高效的,畢竟機(jī)器CPU的運(yùn)算瓶頸擺在那里,算法工程師本質(zhì)上在做的事情就是在現(xiàn)有的運(yùn)算條件下,設(shè)計(jì)出最優(yōu)方案,來(lái)求得最好的結(jié)果。
2、大數(shù)據(jù)膨脹,如何解決搜索問(wèn)題?傳統(tǒng)的算法在搜索數(shù)據(jù)時(shí)完全沒(méi)有問(wèn)題,因?yàn)閿?shù)據(jù)量很小,但是當(dāng)數(shù)據(jù)海量增長(zhǎng)時(shí)問(wèn)題就會(huì)凸顯出來(lái),用原來(lái)的算法去計(jì)算肯定是不行的,按照當(dāng)前最快的硬盤(pán)檢索速度(60GPS),線性掃描完1PB(10TB的15次方)的數(shù)據(jù)需要1.9天的時(shí)間,所以當(dāng)數(shù)據(jù)海量膨脹時(shí),必須重構(gòu)算法策略來(lái)做數(shù)據(jù)的處理。百度目前的處理量是一天處理10PB的網(wǎng)頁(yè)數(shù)據(jù),這其中包括了運(yùn)算和讀取,算是目前最好的算法了。
而懷校長(zhǎng)告訴我們的這個(gè)挑戰(zhàn)就是,在大數(shù)據(jù)的膨脹后,不僅要將原來(lái)的算法更換為近似算法,同樣還要將數(shù)據(jù)更換為近似數(shù)據(jù),只有二者合力改變才有可能在現(xiàn)有機(jī)器運(yùn)算能力的情況下抵達(dá)最優(yōu)的結(jié)果。
同樣是說(shuō)起來(lái)容易做起來(lái)難,在這樣的近似算法以及近似數(shù)據(jù)的改變下,到底該近似到何種程度,才能夠最接近原算法的結(jié)果?要知道,在計(jì)算機(jī)世界里,差之毫厘失之千里,改變的量也許很小,但是如果一旦改錯(cuò),就會(huì)造成巨大的錯(cuò)誤結(jié)果,稍懂程序的人都知道,幾行簡(jiǎn)短的代碼就能讓無(wú)論CPU運(yùn)算能力多強(qiáng)的電腦徹底死機(jī),而搜索引擎則更是一個(gè)更加龐大的試錯(cuò)工程。
最后,懷校長(zhǎng)展示了兩個(gè)學(xué)術(shù)前沿發(fā)展,第一,是定義易解類(lèi)問(wèn)題,從現(xiàn)實(shí)應(yīng)用中找到這類(lèi)易搜索問(wèn)題,將之歸類(lèi)并應(yīng)用于其他實(shí)踐當(dāng)中。第二,是將大數(shù)據(jù)進(jìn)行小數(shù)據(jù)處理,尋找轉(zhuǎn)化的精度度量,也就是他之前所說(shuō)的尋找數(shù)據(jù)的近似值。
此外在大數(shù)據(jù)計(jì)算中,懷校長(zhǎng)還講了大數(shù)據(jù)運(yùn)算的三大基礎(chǔ),表示,度量和理解。因?yàn)樘^(guò)專業(yè),解釋每一個(gè)詞都足夠用一篇文章來(lái)解釋,而且還不一定說(shuō)得清,所以在此略過(guò)。
三、實(shí)踐中的思維轉(zhuǎn)變
大數(shù)據(jù)帶給我們?cè)谘芯恳约皩?shí)踐策略上的思維轉(zhuǎn)變。
1、從精確到非精確。關(guān)于這一點(diǎn)其實(shí)也很好理解,我們就拿傳統(tǒng)時(shí)代的搜索來(lái)說(shuō),在傳統(tǒng)的搜索時(shí)代,當(dāng)我們?nèi)ゲ樵兡硞€(gè)信息時(shí),我們需要得到的是全部的數(shù)據(jù),但是搜索引擎則完全改變了我們這種認(rèn)識(shí),搜索引擎提供的只是前幾項(xiàng)內(nèi)容,而這幾項(xiàng)內(nèi)容則完全滿足了我們的信息需求。
搜索引擎其實(shí)在做的是一套模糊算法,經(jīng)過(guò)一系列的算法計(jì)算,將最優(yōu)秀的結(jié)果帶到用戶面前,而這種結(jié)果上的呈現(xiàn)也顛覆了傳統(tǒng)所認(rèn)知的對(duì)于目標(biāo)的定義,在大數(shù)據(jù)時(shí)代,我們追求的不再是絕對(duì)目標(biāo),而是一個(gè)從宏觀趨勢(shì)下推導(dǎo)出的一些模糊的不精確的未知目標(biāo)。
2、從抽樣到全樣,大數(shù)據(jù)的大決定了大而全的特性,在傳統(tǒng)工業(yè)中教會(huì)我們做統(tǒng)計(jì)的最大方式就是抽樣,諸如系統(tǒng)抽樣,分層抽樣,定額抽樣……,這些統(tǒng)計(jì)方法將會(huì)在大數(shù)據(jù)時(shí)代越來(lái)越不復(fù)存在。大數(shù)據(jù)的信息化可以統(tǒng)計(jì)到一切想要統(tǒng)計(jì)的數(shù)據(jù),將工業(yè)時(shí)代的統(tǒng)計(jì)方法淘汰掉。
3、從因果到關(guān)聯(lián)。而這也直接導(dǎo)致了西方又產(chǎn)生了驚人的言論—“理論已死”,這是繼“上帝之死”,“人之死”,“作者已死”“歷史的終結(jié)",”哲學(xué)已死“后的又一大膽的言論。以往的決策者要想決定某件事,必須參考各種理論,對(duì)其中的因果進(jìn)行判定后才能達(dá)成,但是大數(shù)據(jù)時(shí)代則讓決策變得更加容易,比如超市大數(shù)據(jù)可能會(huì)用清晰的圖表告訴你每當(dāng)下雨天時(shí),超市里的蛋糕會(huì)賣(mài)的多,這時(shí)候決策者根本不需要知道任何理論,任何因果,只需要在天氣預(yù)報(bào)預(yù)測(cè)明天將要下雨時(shí)提前準(zhǔn)備蛋糕就行了。
四、大數(shù)據(jù)軟件工程
1、如何解決大數(shù)據(jù)的計(jì)算支撐問(wèn)題?說(shuō)的簡(jiǎn)單點(diǎn)就是,大數(shù)據(jù)處理必然不是一臺(tái)或者幾臺(tái)服務(wù)器就能搞定的小事情,大數(shù)據(jù)處理需要龐大的硬件支撐,硬件支撐也必然是分布式的設(shè)計(jì),那么該如何設(shè)計(jì)頂層的系統(tǒng)架構(gòu)才能高效能的滿足大數(shù)據(jù)的處理工作?近似性(Inexact)、增量性(Incremental)和歸納性(Inductive)的3I特征如何被滿足?
大數(shù)據(jù)下分布式硬件如何與軟件協(xié)同,如何避免擴(kuò)展失度,處理失效和耗能失控,這些都是令人頭大的問(wèn)題。在系統(tǒng)設(shè)計(jì)上充滿挑戰(zhàn)。
2、眾包大數(shù)據(jù)是否可以開(kāi)發(fā)軟件?這其實(shí)是一個(gè)非常瘋狂的想法,我是這樣解讀懷校長(zhǎng)的想法的,假設(shè)目前我們可以做到眾包大數(shù)據(jù)軟件開(kāi)發(fā),那么情形應(yīng)該如下:大數(shù)據(jù)爬行機(jī)器根據(jù)讀取新浪微博的數(shù)據(jù),百度指數(shù)的數(shù)據(jù),百度貼吧的數(shù)據(jù),淘寶的交易數(shù)據(jù)后,發(fā)現(xiàn)了用戶的各種情緒以及需求的曲線,軟件開(kāi)發(fā)者再根據(jù)這些數(shù)據(jù)的呈現(xiàn)開(kāi)發(fā)出一套軟件的模型然后交給運(yùn)營(yíng)商放置于云端,而用戶再參與進(jìn)入各種云端產(chǎn)生的軟件,在此種產(chǎn)生了各種行為,于是機(jī)器再根據(jù)這些用戶的行為,為軟件建模,規(guī)劃。
這是一種極為精尖交互式數(shù)據(jù)挖掘技術(shù),前提是解決算法以及存儲(chǔ)問(wèn)題,一切皆有可能。未來(lái)的大數(shù)據(jù)軟件將不會(huì)是一種固有形態(tài),而是一個(gè)不斷根據(jù)數(shù)據(jù)自動(dòng)變化的超級(jí)生態(tài),可能不是依靠產(chǎn)品經(jīng)理推動(dòng),而是依靠算法工程師來(lái)推動(dòng),讓用戶的需求自然暴露,然后為他們?nèi)?shí)現(xiàn)一些功能。
大數(shù)據(jù)或許會(huì)在未來(lái)某個(gè)階段被定義為:對(duì)人類(lèi)世界的真實(shí)還原,并且不斷的滿足我們的任何愿望,曾經(jīng)我們依靠它來(lái)決策一些事情,現(xiàn)在我們依靠它來(lái)直接抵達(dá)我們想要做的事情,我們所有的行為都已經(jīng)成為我們決策的一部分。
更多資訊請(qǐng)關(guān)注工業(yè)機(jī)器人頻道