谷歌成立之初,天使投資人問創(chuàng)始人:現(xiàn)在做搜算引擎的公司已經(jīng)非常多了,你們?yōu)槭裁催€要做?谷歌創(chuàng)始人說:我們做的不是搜索,我們做的是人工智能啊!
搜索與人工智能有什么關系呢?
學過專家系統(tǒng)的同志都知道:人工智能的求解問題,往往可以轉化成搜索問題。但搜索過程往往面臨組合爆炸,傳統(tǒng)算法無法在有限的時間內(nèi)計算出來。人工智能算法就是要解決這類問題。所以,有人對這樣定義智能:智能就是在一個巨大的搜索空間中,迅速找出較優(yōu)解的過程。按照這個定義,智能算法是搜索算法,智能算法并不要求最優(yōu)解、而是要求可接受的解,智能算法需要足夠快。
搜索引擎就是要在巨大的搜索空間中,搜索到用戶期望看到的東西。但問題是:什么才是用戶最希望看到的東西呢?這需要理解用戶的心理、需要讀心術。這一點,谷歌做得特別好。在美國過會的一次聽證會上,共和黨議員問谷歌的CEO桑達爾·皮查伊:為什么我們打入白癡(idiot)時會出現(xiàn)特朗普總統(tǒng)的照片?皮查伊回答道:因為我們有些客戶就是想看特朗普。
這種奇怪的“讀心術”,谷歌是如何做到的呢?吳軍先生在《數(shù)學之美》這本書中說的很清楚:計算概率?;ヂ?lián)網(wǎng)上的數(shù)據(jù)樣本特別多,這是合理計算概率的基礎,而大數(shù)據(jù)技術使得快速的復雜計算成為可能。于是,人工智能走向了一個新的臺階。
前幾年,谷歌的阿爾法狗風靡一時。其本質(zhì)也是計算概率。我們知道:下棋的過程是要比較各種不同的走法,從中搜索出好的走法。但是,搜索的步子多了以后,就會遭遇組合爆炸。人工智能技術的關鍵,就是要減少搜索量。如何減少呢?就是要有重點的搜索。在專家系統(tǒng)這門課上,需要建立“啟發(fā)式函數(shù)”去模擬人類的感性認識,評價哪些步驟更適合作為重點。
“重點搜索”的是取勝可能性較大的做法。本質(zhì)上也是個算概率的問題。但是,這種概率函數(shù)很難人為地給出。人類棋手的判斷,常常基于他的感覺。如何才能模仿人類的感覺呢?谷歌采用了依賴大數(shù)據(jù)的深度學習技術獲得“啟發(fā)式函數(shù)”,模擬人的感覺,本質(zhì)上就是可以更合理地計算概率。
最近特別火的ChatGPT,回答問題時同樣是在計算概率。你給出一個問題后,計算機給出概率大的答案。由此可見,從某種意義上說,人說不清、道不明的感性認識,本質(zhì)上就是在計算概率。
我很早之間就認識到了概率和智能的關系。
1994年,我在浙大讀博士。在何亞平老師的哲學課上,我走到黑板的前面畫了A、B、C三個點。其中,C距離A非常近。我對大家說:已知A、B是兩類不同的樣本,請問C應該分到哪一類?這個問題給的條件太少,顯然沒有確定的答案。但如果一定要選一個的話,多數(shù)人會選擇C與A屬于同一類。因為覺這樣的概率比較大。但人們又是如何判斷概率的呢?我認為可以做個隨機試驗:隨機給出一個線性分類器,把C與A劃成一類的概率更大一些。當時,我沒有把想法說清楚,只是有點模糊的感覺。我想說的是一個道理:智能的本質(zhì)是對概率的判斷。
概率論事一門嚴密的數(shù)學學科。但在現(xiàn)實中,理想的概率往往是不存在的——正如數(shù)學上的“直線”在現(xiàn)實中是不存在的?,F(xiàn)實的概率,往往只能在一定的條件下才能逼近數(shù)學理論中的概率。如果把現(xiàn)實中的概率當成數(shù)學上的概率,往往會犯錯誤。
合理認識現(xiàn)實中的概率,體現(xiàn)了人的智能。
我特別喜歡《黑天鵝》中的一個故事。作者問兩個人:假如一個硬幣丟了99次,都是正面朝上。請問第100次正面朝上的概率是多大。對于這個問題,讀書讀傻了人往往會說:根據(jù)概率理論,第100次投幣正面朝上的概率和前面的結果無關,所以概率為0.5。但實踐經(jīng)驗更豐富的人則會說:這個概率應該大于0.5。他的理由是:前面99次都正面朝上了,你還能假設正面朝上的概率是0.5嗎?
處理概率問題的本質(zhì)是如何面對不確定性。不確定性是在信息和知識不完備的前提下產(chǎn)生的。而人的智慧往往就體現(xiàn)在信息和知識不充分時如何決策,就像傳說中諸葛亮通過“夜觀天象”而知“午時三刻有東風”。
我到寶鋼之后,從事了多年的數(shù)據(jù)分析工作。我當時就認識到:現(xiàn)實中的概率和教科書上的概率不一樣。教科書上的概率有個基本的前提假設:事件發(fā)生的頻度是穩(wěn)定的。而現(xiàn)實中,頻度穩(wěn)定幾乎是做不到的。
比如,寶鋼大院每年生產(chǎn)幾十萬塊鋼坯。鋼坯的缺陷率是否可以看成概率呢?很難。因為每年的“缺陷發(fā)生頻率”都不穩(wěn)定。比如,有的年份2%,有的年份5%。為什么會有這么大的波動呢?一個重要的原因是產(chǎn)品不同。有的產(chǎn)品缺陷發(fā)生率可以高達20%,有的幾乎無缺陷。而每年生產(chǎn)的產(chǎn)品比例不一樣。那么,對于特定產(chǎn)品是不是就可以固定缺陷率呢?我發(fā)現(xiàn)也不行。即便對于同一個鋼種,有的年份缺陷率5%,有的年份15%。特定鋼種的缺陷率為什么變化這么大呢?因為有個清理環(huán)節(jié),可以把缺陷清理掉。缺陷率是清理之后才統(tǒng)計的,但清理情況經(jīng)常變化。那么,把產(chǎn)品和清理情況固定下來,缺陷率是不是就穩(wěn)定了呢?仍然不穩(wěn)定,因為還會有眾多的系統(tǒng)干擾。如果把各種系統(tǒng)干擾都排除掉,則每組樣本中的樣本數(shù)目就非常少了,不再具備統(tǒng)計意義。當缺陷發(fā)生頻度不穩(wěn)定的時候,許多模型就不會有效了。
在我看來,每次缺陷的發(fā)生往往都有具體原因。而工廠的技術人員似乎更喜歡關注具體原因。只有具體原因無法觀測的時候,才不得不用“概率”。所以,如果信息收集足夠完備,人們就可以用機理知識而非概率統(tǒng)計解決問題了。
在我看來,傳統(tǒng)的概率統(tǒng)計理論,都是在小數(shù)據(jù)的背景下形成的。這個理論體系已經(jīng)不太適合大數(shù)據(jù)時代和信息時代了——換句話說,大數(shù)據(jù)時代的很多問題不適合用傳統(tǒng)的概率理論來描述了。
在計算能力極大增強、信息趨于完善的時代,如何重新認識概率和不確定性,會給我們帶來機會,也會帶來挑戰(zhàn)。或許,需要拓展“概率”的概念,并發(fā)展出新的理論。