第一部分大數(shù)據(jù)時代的思維變革02更雜：不是精確性，而是混雜性

允許不精確

在越來越多的情況下，使用所有可獲取的數(shù)據(jù)變得更為可能，但為此也要付出一定的代價。數(shù)據(jù)量的大幅增加會造成結果的不準確，與此同時，一些錯誤的數(shù)據(jù)也會混進數(shù)據(jù)庫。然而，重點是我們能夠努力避免這些問題。我們從不認為這些問題是無法避免的，而且也正在學會接受它們。這就是由“小數(shù)據(jù)”到“大數(shù)據(jù)”的重要轉變之一。

對“小數(shù)據(jù)”而言，最基本、最重要的要求就是減少錯誤，保證質量。因為收集的信息量比較少，所以我們必須確保記錄下來的數(shù)據(jù)盡量精確。無論是觀察天體的位置還是觀測顯微鏡下物體的大小，為了使結果更加準確，很多科學家都致力于優(yōu)化測量的工具。在采樣的時候，對精確度的要求就更高更苛刻了。因為收集信息的有限意味著細微的錯誤會被放大，甚至有可能影響整個結果的準確『性』。

歷史上很多時候，人們會把通過測量世界來征服世界視為最大的成就。事實上，對精確度的高要求始于13世紀中期的歐洲。那時候，天文學家和學者對時間、空間的研究采取了比以往更為精確的量化方式，用歷史學家阿爾弗雷德·克羅斯比（alfredcrosby）的話來說就是“測量現(xiàn)實”。

我們研究一個現(xiàn)象，是因為我們相信我們能夠理解它。后來，測量方法逐漸被運用到科學觀察、解釋方法中，體現(xiàn)為一種進行量化研究、記錄，并呈現(xiàn)可重復結果的能力。羅德·凱文（lordkelvin）曾說過：“測量就是認知?！边@已成為一條至理名言。培根也曾說過：“知識就是力量?！蓖瑫r，很多數(shù)學家以及后來的精算師和會計師都發(fā)展了可以準確收集、記錄和管理數(shù)據(jù)的方法。

19世紀，科技率先發(fā)展起來的法國開發(fā)了一套能準確計量時間、空間單位的系統(tǒng)，并逐漸成為其他國家普遍采用的標準，這套系統(tǒng)還為后來國際公認的測量條約奠定了基礎，成為測量時代的巔峰。僅半個世紀之后，20世紀20年代，量子力學的發(fā)現(xiàn)永遠粉碎了“測量臻于至善”的幻夢。然而，在物理學這個小圈子以外的一些測量工程師和科學家仍沉湎在完美測量的夢中。隨著理『性』學科，如數(shù)學和統(tǒng)計學逐漸影響到商業(yè)領域，商業(yè)界更加崇尚這種思想。

然而，在不斷涌現(xiàn)的新情況里，允許不精確的出現(xiàn)已經(jīng)成為一個新的亮點，而非缺點。因為放松了容錯的標準，人們掌握的數(shù)據(jù)也多了起來，還可以利用這些數(shù)據(jù)做更多新的事情。這樣就不是大量數(shù)據(jù)優(yōu)于少量數(shù)據(jù)那么簡單了，而是大量數(shù)據(jù)創(chuàng)造了更好的結果。

同時，我們需要與各種各樣的混『亂』做斗爭。混『亂』，簡單地說就是隨著數(shù)據(jù)的增加，錯誤率也會相應增加。所以，如果橋梁的壓力數(shù)據(jù)量增加1000倍的話，其中的部分讀數(shù)就可能是錯誤的，而且隨著讀數(shù)量的增加，錯誤率可能也會繼續(xù)增加。在整合來源不同的各類信息的時候，因為它們通常不完全一致，所以也會加大混『亂』程度。例如，與服務器處理投訴時的數(shù)據(jù)進行比較，用語音識別系統(tǒng)識別某個呼叫中心接到的投訴會產(chǎn)生一個不太準確的結果，但也是有助于我們把握整個事情的大致情況的。

混『亂』還可以指格式的不一致『性』，因為要達到格式一致，就需要在進行數(shù)據(jù)處理之前仔細地清洗數(shù)據(jù)，而這在大數(shù)據(jù)背景下很難做到?！按髷?shù)據(jù)”專家帕堤爾（d.j.patil）指出，i.b.m.、t.j.watsonlabs、internationalbusinessmachines都可以用來指代ibm，甚至可能有成千上萬種方法稱呼ibm。當然，在萃取或處理數(shù)據(jù)的時候，混『亂』也會發(fā)生。因為在進行數(shù)據(jù)轉化的時候，我們是在把它變成另外的事物。比如，我們在對twitter的信息進行情感分析來預測好萊塢票房的時候，就會出現(xiàn)一定的混『亂』。其實，混『亂』的起源和類型本來就是一團 『亂』麻。

假設你要測量一個葡萄園的溫 度，但是整個葡萄園只有一個溫 度測量儀，那你就必須確保這個測試儀是精確的而且能夠一直工作。反過來，如果每100棵葡萄樹就有一個測量儀，有些測試的數(shù)據(jù)可能會是錯誤的，也可能會更加混『亂』，但眾多的讀數(shù)合起來就可以提供一個更加準確的結果。因為這里面包含了更多的數(shù)據(jù)，而它提供的價值不僅能抵消掉錯誤數(shù)據(jù)造成的影響，還能提供更多的額外價值。

現(xiàn)在想想增加讀數(shù)頻率的這個事情。如果每隔一分鐘就測量一下溫 度，我們至少還能夠保證測量結果是按照時間有序排列的。如果變成每分鐘測量十次甚至百次的話，不僅讀數(shù)可能出錯，連時間先后都可能搞混掉。試想，如果信息在網(wǎng)絡中流動，那么一條記錄很可能在傳輸過程中被延遲，在其到達的時候已經(jīng)沒有意義了，甚至干脆在奔涌的信息洪流中徹底『迷』失。雖然我們得到的信息不再那么準確，但收集到的數(shù)量龐大的信息讓我們放棄嚴格精確的選擇變得更為劃算。

在第一個例子里，我們?yōu)榱双@得更廣泛的數(shù)據(jù)而犧牲了精確『性』，也因此看到了很多如若不然無法被關注到的細節(jié)。在第二個例子里，我們?yōu)榱烁哳l率而放棄了精確『性』，結果觀察到了一些本可能被錯過的變化。雖然如果我們能夠下足夠多的工夫，這些錯誤是可以避免的，但在很多情況下，與致力于避免錯誤相比，對錯誤的包容會帶給我們更多好處。

為了擴大規(guī)模，我們接受適量錯誤的存在。正如技術咨詢公司forrester所認為的，有時得到2加2約等于3.9的結果，也很不錯了。當然，數(shù)據(jù)不可能完全錯誤，但為了了解大致的發(fā)展趨勢，我們愿意對精確『性』做出一些讓步。

我們可以在大量數(shù)據(jù)對計算機其他領域進步的重要『性』上看到類似的變化。我們都知道，如摩爾定律所預測的，過去一段時間里計算機的數(shù)據(jù)處理能力得到了很大的提高。摩爾定律認為，每塊芯片上晶體管的數(shù)量每兩年就會翻一倍。這使得電腦運行更快速了，存儲空間更大了。大家沒有意識到的是，驅動各類系統(tǒng)的算法也進步了——美國總統(tǒng)科技顧問委員會的報告顯示，在很多領域這些算法帶來的進步還要勝過芯片的進步。然而，社會從“大數(shù)據(jù)”中所能得到的，并非來自運行更快的芯片或更好的算法，而是更多的數(shù)據(jù)。

由于象棋的規(guī)則家喻戶曉，且走子限制良多，在過去的幾十年里，象棋算法的變化很小。計算機象棋程序總是步步為贏是由于對殘局掌握得更好了，而之所以能做到這一點也只是因為往系統(tǒng)里加入了更多的數(shù)據(jù)。實際上，當棋盤上只剩下六枚棋子或更少的時候，這個殘局得到了全面地分析，并且接下來所有可能的走法（樣本=總體）都被制入了一個龐大的數(shù)據(jù)表格。這個數(shù)據(jù)表格如果不壓縮的話，會有一太字節(jié)那么多。所以，計算機在這些重要的象棋殘局中表現(xiàn)得完美無缺和不可戰(zhàn)勝。

大數(shù)據(jù)在多大程度上優(yōu)于算法這個問題在自然語言處理上表現(xiàn)得很明顯（這是關于計算機如何學習 和領悟我們在日常生活中使用語言的學科方向）。在2000年的時候，微軟研究中心的米歇爾·班科（michelebanko）和埃里克·布里爾（ericbill）一直在尋求改進word程序中語法檢查的方法。但是他們不能確定是努力改進現(xiàn)有的算法、研發(fā)新的方法，還是添加更加細膩精致的特點更有效。所以，在實施這些措施之前，他們決定往現(xiàn)有的算法中添加更多的數(shù)據(jù)，看看會有什么不同的變化。很多對計算機學習 算法的研究都建立在百萬字左右的語料庫基礎上。最后，他們決定往4種常見的算法中逐漸添加數(shù)據(jù)，先是一千萬字，再到一億字，最后到十億。

結果有點令人吃驚。他們發(fā)現(xiàn)，隨著數(shù)據(jù)的增多，4種算法的表現(xiàn)都大幅提高了。

當數(shù)據(jù)只有500萬的時候，有一種簡單的算法表現(xiàn)得很差，但數(shù)據(jù)達10億的時候，它變成了表現(xiàn)最好的，準確率從原來的75%提高到了95%以上。與之相反地，在少量數(shù)據(jù)情況下運行得最好的算法，當加入更多的數(shù)據(jù)時，也會像其他的算法一樣有所提高，但是卻變成了在大量數(shù)據(jù)條件下運行得最不好的。它的準確率會從86%提高到94%。

后來，班科和布里爾在他們發(fā)表的研究論文中寫到，“如此一來，我們得重新衡量一下更多的人力物力是應該消耗在算法發(fā)展上還是在語料庫發(fā)展上。”

大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復雜算法更有效

所以，數(shù)據(jù)多比少好，更多數(shù)據(jù)比算法系統(tǒng)更智能還要重要。那么，混『亂』呢？在班科和布里爾開始研究數(shù)據(jù)幾年后，微軟的最大競爭對手，谷歌，也開始更大規(guī)模地對這些問題進行探討。谷歌用的是上萬億的語料庫，而不是十億的。谷歌做這類研究不是因為語法檢查，而是為了解決翻譯這個更棘手的難題。

20世紀40年代，電腦由真空管制成，要占據(jù)整個房間這么大的空間。而機器翻譯也只是計算機開發(fā)人員的一個想法。在冷戰(zhàn)時期，美國掌握了大量關于蘇聯(lián)的各種資料，但缺少翻譯這些資料的人手。所以，計算機翻譯也成了亟須解決的問題。

最初，計算機研發(fā)人員打算將語法規(guī)則和雙語詞典結合在一起。1954年，ibm以計算機中的250個詞語和六條語法規(guī)則為基礎，將60個俄語詞組翻譯成了英語，結果振奮人心。ibm701通過穿孔卡片讀取了“mipyeryedayemmislyiposryedstvomryechyi”這句話，并且將其譯成了“我們通過語言來交 流思想”。在慶祝這個成就的發(fā)布會上，一篇報道就有提到，這60句話翻譯得很流暢。這個程序的指揮官利昂·多斯特爾特（leondostert）表示，他相信“在三五年后，機器翻譯將會變得很成熟”。

事實證明，計算機翻譯最初的成功誤導了人們。1966年，一群機器翻譯的研究人員意識到，翻譯比他們想象的更困難，他們不得不承認他們的失敗。機器翻譯不能只是讓電腦熟悉常用規(guī)則，還必須教會電腦處理特殊的語言情況。畢竟，翻譯不僅僅只是記憶和復述，也涉及選詞，而明確地教會電腦這些非常不現(xiàn)實。法語中的“bonjour”就一定是“早上好”嗎？有沒有可能是“日安”、“你好”或者“喂”？事實上都有可能——這需要視情況而定。

在20世紀80年代后期，ibm的研發(fā)人員提出了一個新的想法。與單純教給計算機語言規(guī)則和詞匯相比，他們試圖讓計算機自己估算一個詞或一個詞組適合于用來翻譯另一種語言中的一個詞和詞組的可能『性』，然后再決定某個詞和詞組在另一種語言中的對等詞和詞組。

20世紀90年代，ibm的這個candide項目花費了大概十年的時間，將大約有300萬句之多的加拿大議會資料譯成了英語和法語并出版。由于是官方文件，翻譯的標準就非常高。用那個時候的標準來看，數(shù)據(jù)量非常之龐大。統(tǒng)計機器學習 從誕生之日起，就聰明地把翻譯的挑戰(zhàn)變成了一個數(shù)學問題，而這似乎很有效！計算機翻譯在短時間內(nèi)就提高了很多。然而，在這次飛躍之后，ibm公司盡管投入了很多資金，但取得的成效不大。最終，ibm公司停止了這個項目。

無所不包的谷歌翻譯系統(tǒng)

2006年，谷歌公司也開始涉足機器翻譯。這被當作實現(xiàn)“收集全世界的數(shù)據(jù)資源，并讓人人都可享受這些資源”這個目標的一個步驟。谷歌翻譯開始利用一個更大更繁雜的數(shù)據(jù)庫，也就是全球的互聯(lián)網(wǎng)，而不再只利用兩種語言之間的文本翻譯。

谷歌翻譯系統(tǒng)為了訓練計算機，會吸收它能找到的所有翻譯。它會從各種各樣語言的公司網(wǎng)站上去尋找聯(lián)合國和歐洲委員會這些國際組織發(fā)布的官方文件和報告的譯本。它甚至會吸收速讀項目中的書籍翻譯。谷歌翻譯部的負責人弗朗茲·奧齊（franzoch）是機器翻譯界的權威，他指出，“谷歌的翻譯系統(tǒng)不會像candide一樣只是仔細地翻譯300萬句話，它會掌握用不同語言翻譯的質量參差不齊的數(shù)十億頁的文檔?！辈豢紤]翻譯質量的話，上萬億的語料庫就相當于950億句英語。

盡管其輸入源很混『亂』，但較其他翻譯系統(tǒng)而言，谷歌的翻譯質量相對而言還是最好的，而且可翻譯的內(nèi)容更多。到2012年年中，谷歌數(shù)據(jù)庫涵蓋了60多種語言，甚至能夠接受14種語言的語音輸入，并有很流利的對等翻譯。之所以能做到這些，是因為它將語言視為能夠判別可能『性』的數(shù)據(jù)，而不是語言本身。如果要將印度語譯成加泰羅尼亞語，谷歌就會把英語作為中介語言。因為在翻譯的時候它能適當增減詞匯，所以谷歌的翻譯比其他系統(tǒng)的翻譯靈活很多。

谷歌的翻譯之所以更好并不是因為它擁有一個更好的算法機制。和微軟的班科和布里爾一樣，這是因為谷歌翻譯增加了很多各種各樣的數(shù)據(jù)。從谷歌的例子來看，它之所以能比ibm的candide系統(tǒng)多利用成千上萬的數(shù)據(jù)，是因為它接受了有錯誤的數(shù)據(jù)。2006年，谷歌發(fā)布的上萬億的語料庫，就是來自于互聯(lián)網(wǎng)的一些廢棄內(nèi)容。這就是“訓練集”，可以正確地推算出英語詞匯搭配在一起的可能『性』。

20世紀60年代，擁有百萬英語單詞的語料庫——布朗語料庫算得上這個領域的開創(chuàng)者，而如今谷歌的這個語料庫則是一個質的突破，后者使用龐大的數(shù)據(jù)庫使得自然語言處理這一方向取得了飛躍式的發(fā)展。自然語言處理能力是語音識別系統(tǒng)和計算機翻譯的基礎。彼得·諾維格（peternorvig），谷歌公司人工智能方面的專家，和他的同事在一篇題為《數(shù)據(jù)的非理『性』效果》（theunreasonableeffectivenessofdata）的文章中寫道，“大數(shù)據(jù)基礎上的簡單算法比小數(shù)據(jù)基礎上的復雜算法更加有效?！敝Z維格和他同事就指出，混雜是關鍵。

“從某種意義上，谷歌的語料庫是布朗語料庫的一個退步。因為谷歌語料庫的內(nèi)容來自于未經(jīng)過濾的網(wǎng)頁內(nèi)容，所以會包含一些不完整的句子、拼寫錯誤、語法錯誤以及其他各種錯誤。況且，它也沒有詳細的人工糾錯后的注解。但是，谷歌語料庫是布朗語料庫的好幾百萬倍大，這樣的優(yōu)勢完全壓倒了缺點。”

紛繁的數(shù)據(jù)越多越好

傳統(tǒng)的樣本分析師們很難容忍錯誤數(shù)據(jù)的存在，因為他們一生都在研究如何防止和避免錯誤的出現(xiàn)。在收集樣本的時候，統(tǒng)計學家會用一整套的策略來減少錯誤發(fā)生的概率。在結果公布之前，他們也會測試樣本是否存在潛在的系統(tǒng)『性』偏差。這些策略包括根據(jù)協(xié)議或通過受過專門訓練的專家來采集樣本。但是，即使只是少量的數(shù)據(jù)，這些規(guī)避錯誤的策略實施起來還是耗費巨大。尤其是當我們收集所有數(shù)據(jù)的時候，這就行不通了。不僅是因為耗費巨大，還因為在大規(guī)模的基礎上保持數(shù)據(jù)收集標準的一致『性』不太現(xiàn)實。就算是不讓人們進行溝通，也不能解決這個問題。

大數(shù)據(jù)時代要求我們重新審視精確『性』的優(yōu)劣。如果將傳統(tǒng)的思維模式運用于數(shù)字化、網(wǎng)絡化的21世紀，就會錯過重要的信息。執(zhí)『迷』于精確『性』是信息缺乏時代和模擬時代的產(chǎn)物。在那個信息貧乏的時代，任意一個數(shù)據(jù)點的測量情況都對結果至關重要。所以，我們需要確保每個數(shù)據(jù)的精確『性』，才不會導致分析結果的偏差。

混雜『性』，不是竭力避免，而是標準途徑

確切地說，在許多技術和社會領域，我們更傾向于紛繁混雜。我們來看看內(nèi)容分類方面的情況。幾個世紀以來，人們一直用分類法和索引法來幫助自己存儲和檢索數(shù)據(jù)資源。這樣的分級系統(tǒng)通常都不完善——各位讀者沒有忘記圖書館卡片目錄給你們帶來的痛苦回憶吧？在“小數(shù)據(jù)”范圍內(nèi)，這些方法就很有效，但一旦把數(shù)據(jù)規(guī)模增加好幾個數(shù)量級，這些預設一切都各就各位的系統(tǒng)就會崩潰。

相片分享網(wǎng)站flickr在2011年擁有來自大概1億用戶的60億張照片。根據(jù)預先設定好的分類來標注每張照片就沒有意義了。難道真會有人為他的照片取名“像希特勒一樣的貓”嗎？

恰恰相反，清楚的分類被更混『亂』卻更靈活的機制所取代。這些機制才能適應改變著的世界。當我們上傳照片到flickr網(wǎng)站的時候，我們會給照片添加標簽。也就是說，我們會使用一組文本標簽來編組和搜索這些資源。人們用自己的方式創(chuàng)造和使用標簽，所以它是沒有標準、沒有預先設定的排列和分類，也沒有我們必須遵守的類別的。任何人都可以輸入新的標簽，標簽內(nèi)容事實上就成為網(wǎng)絡資源的分類標準。標簽被廣泛地應用于facebook、博客等社交 網(wǎng)絡上。因為它們的存在，互聯(lián)網(wǎng)上的資源變得更加容易找到，特別是像圖片、視頻和音樂這些無法用關鍵詞搜索的非文本類資源。

當然，有時人們錯標的標簽會導致資源編組的不準確，這會讓習慣了精確『性』的人們很痛苦。但是，我們用來編組照片集的混『亂』方法給我們帶來了很多好處。比如，我們擁有了更加豐富的標簽內(nèi)容，同時能更深更廣地獲得各種照片。我們可以通過合并多個搜索標簽來過濾我們需要尋找的照片，這在以前是無法完成的。我們添加標簽時所固帶的不準確『性』從某種意義上說明我們能夠接受世界的紛繁復雜。這是對更加精確系統(tǒng)的一種對抗。這些精確的系統(tǒng)試圖讓我們接受一個世界貧乏而規(guī)整的慘相——假裝世間萬物都是整齊地排列的。而事實上現(xiàn)實是紛繁復雜的，天地間存在的事物也遠遠多于系統(tǒng)所設想的。

互聯(lián)網(wǎng)上最火的網(wǎng)址都表明，它們欣賞不精確而不會假裝精確。當一個人在網(wǎng)站上見到一個facebook的“喜歡”按鈕時，可以看到有多少其他人也在點擊。當數(shù)量不多時，會顯示像“63”這種精確的數(shù)字。當數(shù)量很大時，則只會顯示近似值，比方說“4000”。這并不代表系統(tǒng)不知道正確的數(shù)據(jù)是多少，只是當數(shù)量規(guī)模變大的時候，確切的數(shù)量已經(jīng)不那么重要了。另外，數(shù)據(jù)更新得非常快，甚至在剛剛顯示出來的時候可能就已經(jīng)過時了。所以，同樣的原理適用于時間的顯示。谷歌的gmail郵箱會確切標注在很短時間內(nèi)收到的信件，比方說“11分鐘之前”。但是，對于已經(jīng)收到一段時間的信件，則會標注如“兩個小時之前”這種不太確切的時間信息。

2000年以來，商務智能和分析軟件領域的技術供應商們一直承諾給客戶“一個唯一真理”。執(zhí)行官們用這個詞組并沒有諷刺的意思，現(xiàn)在也依然有技術供應商這樣說。他們說這個詞組的意思就是，每個使用該公司信息技術系統(tǒng)的人都能利用同樣的數(shù)據(jù)資源，這樣市場部和營銷部的人員們就不需要再在會議開始前爭論，到底是誰掌握了正確的客戶和銷售數(shù)據(jù)了。這個想法就是說，如果他們知道的數(shù)據(jù)是一致的，那么他們的利益也會更一致。

但是，“一個唯一的真理”這種想法已經(jīng)徹底被改變了?，F(xiàn)在不但出現(xiàn)了一種新的認識，即“一個唯一的真理”的存在是不可能的，而且追求這個唯一的真理是對注意力的分散。要想獲得大規(guī)模數(shù)據(jù)帶來的好處，混『亂』應該是一種標準途徑，而不應該是竭力避免的。

我們甚至發(fā)現(xiàn)，不精確已經(jīng)滲入了數(shù)據(jù)庫設計這個最不能容忍錯誤的領域。傳統(tǒng)的數(shù)據(jù)庫引擎要求數(shù)據(jù)高度精確和準確排列。數(shù)據(jù)不是單純地被存儲，它往往被劃分為包含“域”的記錄，每個域都包含了特定種類和特定長度信息。比方說，某個數(shù)值域是7個數(shù)字長，一個1000萬或者更大的數(shù)值就無法被記錄。一個人想在某個記錄手機號碼的域中輸入一串漢字是“不被允許”的。想要被允許也可以，需要改變數(shù)據(jù)庫結構才可以?，F(xiàn)在，我們依然在和電腦以及智能手機上的這些限制進行斗爭，比如軟件可能拒絕記錄我們輸入的數(shù)據(jù)。

索引是事先就設定好了的，這也就限制了人們的搜索。增加一個新的索引往往既消耗時間，又惹人討厭，因為需要改變底層的設計。傳統(tǒng)的關系數(shù)據(jù)庫是為數(shù)據(jù)稀缺的時代設計的，所以能夠也需要仔細策劃。在那個時代，人們遭遇到的問題無比清晰，所以數(shù)據(jù)庫被設計用來有效地回答這些問題，

但是，這種數(shù)據(jù)存儲和分析的方法越來越和現(xiàn)實相沖突。我們現(xiàn)在擁有各種各樣、參差不齊的海量數(shù)據(jù)，很少有數(shù)據(jù)完全符合預先設定的數(shù)據(jù)種類。而且，我們想要的數(shù)據(jù)回答的問題，也只有在我們收集和處理數(shù)據(jù)的過程中才會知道。