最近讀了維克托·邁爾 – 舍恩伯格的《大數(shù)據(jù)時(shí)代》，覺得有不少收獲，讓我這個(gè)大數(shù)據(jù)的小白第一次理解了大數(shù)據(jù)。

作者是大數(shù)據(jù)的元老級(jí)先驅(qū)。

放一張帥照，膜拜下。

不過這本書我本人不推薦從頭讀一遍，因?yàn)闀械暮诵睦砟畈⒉皇翘貏e多，可以看看我這篇博客。

1 海量數(shù)據(jù)從何而來？

互聯(lián)網(wǎng)的發(fā)展使世界徹底改變了，我們進(jìn)入了信息爆炸的時(shí)代。

歷史學(xué)家伊麗莎白·愛森斯坦（Elizabeth Eisenstein）發(fā)現(xiàn)，1453—1503年，這50年之間大約有800萬本書籍被印刷，比1200年之前君士坦丁堡建立以來整個(gè)歐洲所有的手抄書還要多。換言之，歐洲的信息存儲(chǔ)量花了50年才增長了一倍（當(dāng)時(shí)的歐洲還占據(jù)了世界上相當(dāng)部分的信息存儲(chǔ)份額），而如今大約每三年就能增長一倍。谷歌公司每天要處理超過24拍字節(jié)[插圖]的數(shù)據(jù)，這意味著其每天的數(shù)據(jù)處理量是美國國家圖書館所有紙質(zhì)出版物所含數(shù)據(jù)量的上千背。

站訪問記錄、社交媒體數(shù)據(jù)、電子郵件、在線廣告、金融交易數(shù)據(jù)、醫(yī)療記錄、交通運(yùn)輸數(shù)據(jù)、能源消耗數(shù)據(jù)…

海量數(shù)據(jù)的時(shí)代來了！

2 大數(shù)據(jù)有什么價(jià)值——量變產(chǎn)生質(zhì)變

大數(shù)據(jù)有什么價(jià)值呢，答案就是量變產(chǎn)生質(zhì)變。

我們就以納米技術(shù)為例。納米技術(shù)專注于把東西變小而不是變大。其原理就是當(dāng)事物到達(dá)分子的級(jí)別時(shí)，它的物理性質(zhì)就會(huì)發(fā)生改變。一旦你知道這些新的性質(zhì)，你就可以用同樣的原料來做以前無法做的事情。銅本來是用來導(dǎo)電的物質(zhì)，但它一旦到達(dá)納米級(jí)別就不能在磁場中導(dǎo)電了。銀離子具有抗菌性，但當(dāng)它以分子形式存在的時(shí)候，這種性質(zhì)會(huì)消失。一旦到達(dá)納米級(jí)別，金屬可以變得柔軟，陶土可以具有彈性。同樣，當(dāng)我們增加所利用的數(shù)據(jù)量時(shí)，我們就可以做很多在小數(shù)據(jù)量的基礎(chǔ)上無法完成的事情。

2009年甲型H1N1流感爆發(fā)的時(shí)候，與習(xí)慣性滯后的官方數(shù)據(jù)相比，谷歌成為了一個(gè)更有效、更及時(shí)的指示標(biāo)。

在甲型H1N1流感爆發(fā)的幾周前，互聯(lián)網(wǎng)巨頭谷歌公司的工程師們在《自然》雜志上發(fā)表了一篇引人注目的論文。它令公共衛(wèi)生官員們和計(jì)算機(jī)科學(xué)家們感到震驚。文中解釋了谷歌為什么能夠預(yù)測冬季流感的傳播：不僅是全美范圍的傳播，而且可以具體到特定的地區(qū)和州。谷歌通過觀察人們在網(wǎng)上的搜索記錄來完成這個(gè)預(yù)測，而這種方法以前一直是被忽略的。谷歌保存了多年來所有的搜索記錄，而且每天都會(huì)收到來自全球超過30億條的搜索指令，如此龐大的數(shù)據(jù)資源足以支撐和幫助它完成這項(xiàng)工作。

谷歌公司把5000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003年至2008年間季節(jié)性流感傳播時(shí)期的數(shù)據(jù)進(jìn)行了比較。他們希望通過分析人們的搜索記錄來判斷這些人是否患上了流感，他們的預(yù)測與官方數(shù)據(jù)的相關(guān)性高達(dá)97%。和疾控中心一樣，他們也能判斷出流感是從哪里傳播出來的，而且判斷非常及時(shí)，不會(huì)像疾控中心一樣要在流感爆發(fā)一兩周之后才可以做到。

3 隨機(jī)采樣 VS 大數(shù)據(jù)

小數(shù)據(jù)時(shí)代科學(xué)家們采用隨機(jī)采樣，最少的數(shù)據(jù)獲得最多的信息。統(tǒng)計(jì)學(xué)家們證明：采樣分析的精確性隨著采樣隨機(jī)性的增加而大幅提高，但與樣本數(shù)量的增加關(guān)系不大。認(rèn)為樣本選擇的隨機(jī)性比樣本數(shù)量更重要，這種觀點(diǎn)是非常有見地的。隨機(jī)采樣取得了巨大的成功，成為現(xiàn)代社會(huì)、現(xiàn)代測量領(lǐng)域的主心骨。

但這只是一條捷徑，是在不可收集和分析全部數(shù)據(jù)的情況下的選擇，它本身存在許多固有的缺陷。它的成功依賴于采樣的絕對隨機(jī)性，但是實(shí)現(xiàn)采樣的隨機(jī)性非常困難。一旦采樣過程中存在任何偏見，分析結(jié)果就會(huì)相去甚遠(yuǎn)。

2008年在奧巴馬與麥凱恩之間進(jìn)行的美國總統(tǒng)大選中，蓋洛普咨詢公司、皮尤研究中心（Pew）、美國廣播公司和《華盛頓郵報(bào)》社這些主要的民調(diào)組織都發(fā)現(xiàn)，如果他們不把移動(dòng)用戶考慮進(jìn)來，民意測試結(jié)果就會(huì)出現(xiàn)三個(gè)點(diǎn)的偏差，而一旦考慮進(jìn)來，偏差就只有一個(gè)點(diǎn)。鑒于這次大選的票數(shù)差距極其微弱，這已經(jīng)是非常大的偏差了。

更糟糕的是，隨機(jī)采樣不適合考察子類別的情況。因?yàn)橐坏├^續(xù)細(xì)分，隨機(jī)采樣結(jié)果的錯(cuò)誤率會(huì)大大增加。這很容易理解。

你設(shè)想一下，一個(gè)對1000個(gè)人進(jìn)行的調(diào)查，如果要細(xì)分到“東北部的富裕女性”，調(diào)查的人數(shù)就遠(yuǎn)遠(yuǎn)少于1000人了。即使是完全隨機(jī)的調(diào)查，倘若只用了幾十個(gè)人來預(yù)測整個(gè)東北部富裕女性選民的意愿，還是不可能得到精確結(jié)果啊！而且，一旦采樣過程中存在任何偏見，在細(xì)分領(lǐng)域所做的預(yù)測就會(huì)大錯(cuò)特錯(cuò)。

隨機(jī)采樣就像是模擬照片打印，遠(yuǎn)看很不錯(cuò)，但是一旦聚焦某個(gè)點(diǎn)，就會(huì)變得模糊不清。

隨機(jī)采樣也需要嚴(yán)密的安排和執(zhí)行。人們只能從采樣數(shù)據(jù)中得出事先設(shè)計(jì)好的問題的結(jié)果——千萬不要奢求采樣的數(shù)據(jù)還能回答你突然意識(shí)到的問題。

大數(shù)據(jù)中的“大”不是絕對意義上的大，雖然在大多數(shù)情況下是這個(gè)意思。谷歌流感趨勢預(yù)測建立在數(shù)億的數(shù)學(xué)模型上，而它們又建立在數(shù)十億數(shù)據(jù)節(jié)點(diǎn)的基礎(chǔ)之上。完整的人體基因組有約30億個(gè)堿基對。但這只是單純的數(shù)據(jù)節(jié)點(diǎn)的絕對數(shù)量，并不代表它們就是大數(shù)據(jù)。大數(shù)據(jù)是指不用隨機(jī)分析法這樣的捷徑，而采用所有數(shù)據(jù)的方法。谷歌流感趨勢和喬布斯的醫(yī)生們采取的就是大數(shù)據(jù)的方法。

大數(shù)據(jù)與喬布斯的癌癥治療
蘋果公司的傳奇總裁史蒂夫·喬布斯在與癌癥斗爭的過程中采用了不同的方式，成為世界上第一個(gè)對自身所有DNA和腫瘤DNA進(jìn)行排序的人。為此，他支付了高達(dá)幾十萬美元的費(fèi)用，這是23andme報(bào)價(jià)的幾百倍之多。所以，他得到的不是一個(gè)只有一系列標(biāo)記的樣本，他得到了包括整個(gè)基因密碼的數(shù)據(jù)文檔。
對于一個(gè)普通的癌癥患者，醫(yī)生只能期望她的DNA排列同試驗(yàn)中使用的樣本足夠相似。但是，史蒂夫·喬布斯的醫(yī)生們能夠基于喬布斯的特定基因組成，按所需效果用藥。如果癌癥病變導(dǎo)致藥物失效，醫(yī)生可以及時(shí)更換另一種藥，也就是喬布斯所說的，“從一片睡蓮葉跳到另一片上?！眴滩妓归_玩笑說：“我要么是第一個(gè)通過這種方式戰(zhàn)勝癌癥的人，要么就是最后一個(gè)因?yàn)檫@種方式死于癌癥的人?！彪m然他的愿望都沒有實(shí)現(xiàn)，但是這種獲得所有數(shù)據(jù)而不僅是樣本的方法還是將他的生命延長了好幾年。

相比隨機(jī)數(shù)據(jù)聚焦就模糊，大數(shù)據(jù)就不會(huì)有這樣的困擾。可以用Lytro相機(jī)來打一個(gè)恰當(dāng)?shù)谋确?。Lytro相機(jī)是具有革新性的，因?yàn)樗汛髷?shù)據(jù)運(yùn)用到了基本的攝影中。與傳統(tǒng)相機(jī)只可以記錄一束光不同，Lytro相機(jī)可以記錄整個(gè)光場里所有的光，達(dá)到1100萬束之多。具體生成什么樣的照片則可以在拍攝之后再根據(jù)需要決定。用戶沒必要在一開始就聚焦，因?yàn)樵撓鄼C(jī)可以捕捉到所有的數(shù)據(jù)，所以之后可以選擇聚焦圖像中的任一點(diǎn)。整個(gè)光場的光束都被記錄了，也就是收集了所有的數(shù)據(jù)，“樣本=總體”。因此，與普通照片相比，這些照片就更具“可循環(huán)利用性”。如果使用普通相機(jī)，攝影師就必須在拍照之前決定好聚焦點(diǎn)。

4.擁抱更混亂的世界

在越來越多的情況下，使用所有可獲取的數(shù)據(jù)變得更為可能，但為此也要付出一定的代價(jià)。數(shù)據(jù)量的大幅增加會(huì)造成結(jié)果的不準(zhǔn)確，與此同時(shí)，一些錯(cuò)誤的數(shù)據(jù)也會(huì)混進(jìn)數(shù)據(jù)庫。

我們從不認(rèn)為這些問題是無法避免的，而且也正在學(xué)會(huì)接受它們。

大數(shù)據(jù)時(shí)代要求我們重新審視精確性的優(yōu)劣.假設(shè)你要測量一個(gè)葡萄園的溫度，但是整個(gè)葡萄園只有一個(gè)溫度測量儀，那你就必須確保這個(gè)測量儀是精確的而且能夠一直工作。反過來，如果每100棵葡萄樹就有一個(gè)測量儀，有些測試的數(shù)據(jù)可能會(huì)是錯(cuò)誤的，可能會(huì)更加混亂，但眾多的讀數(shù)合起來就可以提供一個(gè)更加準(zhǔn)確的結(jié)果。因?yàn)檫@里面包含了更多的數(shù)據(jù)，而它不僅能抵消掉錯(cuò)誤數(shù)據(jù)造成的影響，還能提供更多的額外價(jià)值。

無所不包的谷歌翻譯系統(tǒng)
2006年，谷歌公司也開始涉足機(jī)器翻譯。這被當(dāng)作實(shí)現(xiàn)“收集全世界的數(shù)據(jù)資源，并讓人人都可享受這些資源”這個(gè)目標(biāo)的一個(gè)步驟。谷歌翻譯開始利用一個(gè)更大更繁雜的數(shù)據(jù)庫，也就是全球的互聯(lián)網(wǎng)，而不再只利用兩種語言之間的文本翻譯。
谷歌翻譯系統(tǒng)為了訓(xùn)練計(jì)算機(jī)，會(huì)吸收它能找到的所有翻譯。它會(huì)從各種各樣語言的公司網(wǎng)站上尋找對譯文檔，還會(huì)去尋找聯(lián)合國和歐盟這些國際組織發(fā)布的官方文件和報(bào)告的譯本。它甚至?xí)账僮x項(xiàng)目中的書籍翻譯。谷歌翻譯部的負(fù)責(zé)人弗朗茲·奧齊（Franz Och）是機(jī)器翻譯界的權(quán)威，他指出，“谷歌的翻譯系統(tǒng)不會(huì)像Candide一樣只是仔細(xì)地翻譯300萬句話，它會(huì)掌握用不同語言翻譯的質(zhì)量參差不齊的數(shù)十億頁的文檔?！辈豢紤]翻譯質(zhì)量的話，上萬億的語料庫就相當(dāng)于950億句英語。
盡管其輸入源很混亂，但較其他翻譯系統(tǒng)而言，谷歌的翻譯質(zhì)量相對而言還是最好的，而且可翻譯的內(nèi)容更多。到2012年年中，谷歌數(shù)據(jù)庫涵蓋了60多種語言，甚至能夠接受14種語言的語音輸入，并有很流利的對等翻譯。之所以能做到這些，是因?yàn)樗鼘⒄Z言視為能夠判別可能性的數(shù)據(jù)，而不是語言本身。如果要將印度語譯成加泰羅尼亞語，谷歌就會(huì)把英語作為中介語言。因?yàn)樵诜g的時(shí)候它能適當(dāng)增減詞匯，所以谷歌的翻譯比其他系統(tǒng)的翻譯靈活很多。

混亂還可以指格式的不一致性，因?yàn)橐_(dá)到格式一致，就需要在進(jìn)行數(shù)據(jù)處理之前仔細(xì)地清洗數(shù)據(jù)，而這在大數(shù)據(jù)背景下很難做到。

當(dāng)我們上傳照片到Flickr網(wǎng)站的時(shí)候，我們會(huì)給照片添加標(biāo)簽。也就是說，我們會(huì)使用一組文本標(biāo)簽來編組和搜索這些資源。人們用自己的方式創(chuàng)造和使用標(biāo)簽，所以它是沒有標(biāo)準(zhǔn)、沒有預(yù)先設(shè)定的排列和分類，也沒有我們必須遵守的類別的。任何人都可以輸入新的標(biāo)簽，標(biāo)簽內(nèi)容事實(shí)上就成為了網(wǎng)絡(luò)資源的分類標(biāo)準(zhǔn)。標(biāo)簽被廣泛地應(yīng)用于Facebook、博客等社交網(wǎng)絡(luò)上。因?yàn)樗鼈兊拇嬖冢ヂ?lián)網(wǎng)上的資源變得更加容易找到，特別是像圖片、視頻和音樂這些無法用關(guān)鍵詞搜索的非文本類資源。

5.原因真的很重要嗎

知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時(shí)代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。

FICO，“我們知道你明天會(huì)做什么”
一個(gè)人的信用常被用來預(yù)測他/她的個(gè)人行為。美國個(gè)人消費(fèi)信用評(píng)估公司，也被稱為FICO，在20世紀(jì)50年代發(fā)明了信用分。2011年，F(xiàn)ICO提出了“遵從醫(yī)囑評(píng)分”——它分析一系列的變量來確定這個(gè)人是否會(huì)按時(shí)吃藥，包括一些看起來有點(diǎn)怪異的變量。比方說，一個(gè)人在某地居住了多久，這個(gè)人結(jié)婚了沒有，他多久換一個(gè)工作以及他是否有私家車。這個(gè)評(píng)分會(huì)幫助醫(yī)療機(jī)構(gòu)節(jié)省開支，因?yàn)樗鼈儠?huì)知道哪些人需要得到它們的用藥提醒。有私家車和使用抗生素并沒有因果關(guān)系，這只是一種相關(guān)關(guān)系。但是這就足夠激發(fā)FICO的首席執(zhí)行官揚(yáng)言，“我們知道你明天會(huì)做什么?！边@是他在2011年的投資人大會(huì)上說的。

大數(shù)據(jù)從來不care因果關(guān)系，而是相關(guān)關(guān)系。相關(guān)關(guān)系很有用，不僅僅是因?yàn)樗転槲覀兲峁┬碌囊暯?，而且提供的視角都很清晰。而我們一旦把因果關(guān)系考慮進(jìn)來，這些視角就有可能被蒙蔽掉。

Kaggle，一家為所有人提供數(shù)據(jù)挖掘競賽平臺(tái)的公司，舉辦了關(guān)于二手車的質(zhì)量競賽。二手車經(jīng)銷商將二手車數(shù)據(jù)提供給參加比賽的統(tǒng)計(jì)學(xué)家，統(tǒng)計(jì)學(xué)家們用這些數(shù)據(jù)建立一個(gè)算法系統(tǒng)來預(yù)測經(jīng)銷商拍賣的哪些車有可能出現(xiàn)質(zhì)量問題。相關(guān)關(guān)系分析表明，橙色的車有質(zhì)量問題的可能性只有其他車的一半。
當(dāng)我們讀到這里的時(shí)候，不禁也會(huì)思考其中的原因。難道是因?yàn)槌壬嚨能囍鞲鼝圮嚕攒嚤槐Ｗo(hù)得更好嗎？或是這種顏色的車子在制造方面更精良些嗎？還是因?yàn)槌壬能嚫@眼、出車禍的概率更小，所以轉(zhuǎn)手的時(shí)候，各方面的性能保持得更好？

6.一切皆可量化

我們往往忽視數(shù)據(jù)的價(jià)值，認(rèn)為某些數(shù)據(jù)不需要。但數(shù)據(jù)其實(shí)可以從看上去最不可能的東西中提取出來。

日本先進(jìn)工業(yè)技術(shù)研究所的坐姿研究與汽車防盜系統(tǒng)
日本先進(jìn)工業(yè)技術(shù)研究所（Japan’s Advanced Institute of Industrial Technology）的教授越水重臣（Shigeomi Koshimizu）所做的研究就是關(guān)于一個(gè)人的坐姿。很少有人會(huì)認(rèn)為一個(gè)人的坐姿能表現(xiàn)什么信息，但是它真的可以。當(dāng)一個(gè)人坐著的時(shí)候，他的身形、姿勢和重量分布都可以量化和數(shù)據(jù)化。越水重臣和他的工程師團(tuán)隊(duì)通過在汽車座椅下部安裝總共360個(gè)壓力傳感器以測量人對椅子施加壓力的方式。把人體屁股特征轉(zhuǎn)化成了數(shù)據(jù)，并且用從0～256這個(gè)數(shù)值范圍對其進(jìn)行量化，這樣就會(huì)產(chǎn)生獨(dú)屬于每個(gè)乘坐者的精確數(shù)據(jù)資料。
在這個(gè)實(shí)驗(yàn)中，這個(gè)系統(tǒng)能根據(jù)人體對座位的壓力差異識(shí)別出乘坐者的身份，準(zhǔn)確率高達(dá)98%。
這個(gè)研究并不愚蠢。這項(xiàng)技術(shù)可以作為汽車防盜系統(tǒng)安裝在汽車上。有了這個(gè)系統(tǒng)之后，汽車就能識(shí)別出駕駛者是不是車主；如果不是，系統(tǒng)就會(huì)要求司機(jī)輸入密碼；如果司機(jī)無法準(zhǔn)確輸入密碼，汽車就會(huì)自動(dòng)熄火。把一個(gè)人的坐姿轉(zhuǎn)化成數(shù)據(jù)后，這些數(shù)據(jù)就孕育出了一些切實(shí)可行的服務(wù)和一個(gè)前景光明的產(chǎn)業(yè)。比方說，通過匯集這些數(shù)據(jù)，我們可以利用事故發(fā)生之前的姿勢變化情況，分析出坐姿和行駛安全之間的關(guān)系。這個(gè)系統(tǒng)同樣可以在司機(jī)疲勞駕駛的時(shí)候發(fā)出警示或者自動(dòng)剎車。同時(shí)，這個(gè)系統(tǒng)不但可以發(fā)現(xiàn)車輛被盜，而且可以通過收集到的數(shù)據(jù)識(shí)別出盜賊的身份。

7.數(shù)據(jù)化，而不是數(shù)字化

數(shù)字化和數(shù)據(jù)化的差異是什么？回答這個(gè)問題很容易，我們來看一個(gè)兩者同時(shí)存在并且起作用的領(lǐng)域就可以理解了，這個(gè)領(lǐng)域就是書籍。2004年，谷歌發(fā)布了一個(gè)野心勃勃的計(jì)劃：它試圖把所有版權(quán)條例允許的書本內(nèi)容進(jìn)行數(shù)字化，讓世界上所有的人都能通過網(wǎng)絡(luò)免費(fèi)閱讀這些書籍。為了完成這個(gè)偉大的計(jì)劃，谷歌與全球最大和最著名的圖書館進(jìn)行了合作，并且還發(fā)明了一個(gè)能自動(dòng)翻頁的掃描儀，這樣對上百萬書籍的掃描工作才切實(shí)可行且不至于太過昂貴。

剛開始，谷歌所做的是數(shù)字化文本，每一頁都被掃描然后存入谷歌服務(wù)器的一個(gè)高分辨率數(shù)字圖像文件中。書本上的內(nèi)容變成了網(wǎng)絡(luò)上的數(shù)字文本，所以任何地方的任何人都可以方便地進(jìn)行查閱了。然而，這還是需要用戶要么知道自己要找的內(nèi)容在哪本書上，要么必須在浩瀚的內(nèi)容中尋覓自己需要的片段。因?yàn)檫@些數(shù)字文本沒有被數(shù)據(jù)化，所以它們不能通過搜索詞被查找到，也不能被分析。谷歌所擁有的只是一些圖像，這些圖像只有依靠人的閱讀才能轉(zhuǎn)化為有用的信息。

8.價(jià)值"取之不盡,用之不竭"的數(shù)據(jù)創(chuàng)新

數(shù)據(jù)就像一個(gè)神奇的鉆石礦，當(dāng)它的首要價(jià)值被發(fā)掘后仍能不斷給予。它的真實(shí)價(jià)值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下。

2000年，22歲大學(xué)剛畢業(yè)的路易斯·馮·安（Luis Von Ahn）發(fā)明了驗(yàn)證碼。這使他能夠在取得博士學(xué)位后進(jìn)入卡內(nèi)基梅隆大學(xué)工作，教授計(jì)算機(jī)科學(xué)；也使他在27歲時(shí)獲得了50萬美元的麥克阿瑟基金會(huì)“天才獎(jiǎng)”。但是，當(dāng)他意識(shí)到每天有這么多人要浪費(fèi)10秒鐘的時(shí)間輸入這堆惱人的字母，而隨后大量的信息被隨意地丟棄時(shí)，他并沒有感到自己很聰明。
他很快找到了用戶輸入的驗(yàn)證碼信息的第二個(gè)用途：破譯數(shù)字化文本中不清楚的單詞。
他創(chuàng)建了一個(gè)新項(xiàng)目ReCaptcha。和原有隨機(jī)字母輸入不同，人們需要從計(jì)算機(jī)光學(xué)字符識(shí)別程序無法識(shí)別的文本掃描項(xiàng)目中讀出兩個(gè)單詞并輸入。其中一個(gè)單詞其他用戶也識(shí)別過，從而可以從該用戶的輸入中判斷注冊者是人；另一個(gè)單詞則是有待辨識(shí)和解疑的新詞。為了保證準(zhǔn)確度，系統(tǒng)會(huì)將同一個(gè)模糊單詞發(fā)給五個(gè)不同的人，直到他們都輸入正確后才確定這個(gè)單詞是對的。ReCaptcha的作用得到了認(rèn)可，2009年谷歌收購了馮·安的公司，并將這一技術(shù)用于圖書掃描項(xiàng)目。

數(shù)據(jù)重組是發(fā)掘數(shù)據(jù)價(jià)值的重要辦法。隨著大數(shù)據(jù)的出現(xiàn)，數(shù)據(jù)的總和比部分更有價(jià)值。當(dāng)我們將多個(gè)數(shù)據(jù)集的總和重組在一起時(shí)，重組總和本身的價(jià)值也比單個(gè)總和更大

丹麥癌癥協(xié)會(huì)：手機(jī)是否增加致癌率
丹麥擁有1985年手機(jī)推出以來所有手機(jī)用戶的數(shù)據(jù)庫。這項(xiàng)研究分析了1990年至2007年間擁有手機(jī)的用戶（企業(yè)用戶和其他社會(huì)經(jīng)濟(jì)數(shù)據(jù)不可用的用戶除外），共涉及358403人。該國同時(shí)記錄了所有癌癥患者的信息，在那期間共有10729名中樞神經(jīng)系統(tǒng)腫瘤患者。結(jié)合這兩個(gè)數(shù)據(jù)集后，研究人員開始尋找兩者的關(guān)系：手機(jī)用戶是否比非手機(jī)用戶顯示出較高的癌癥發(fā)病率？使用手機(jī)時(shí)間較長的用戶是否比時(shí)間較短的用戶更容易患上癌癥？
盡管研究的規(guī)模很大，數(shù)據(jù)卻沒有出現(xiàn)絲毫混亂或含糊不清。為了滿足醫(yī)療或商業(yè)的目的，兩個(gè)數(shù)據(jù)集都采用了嚴(yán)格的質(zhì)量標(biāo)準(zhǔn)，信息的收集不存在偏差。事實(shí)上，數(shù)據(jù)是在多年前就已經(jīng)生成的，當(dāng)時(shí)的目的與這項(xiàng)研究毫不相關(guān)。最重要的是，這項(xiàng)研究并沒有基于任何樣本，卻很接近“樣本=總體”的準(zhǔn)則，即包括了幾乎所有癌癥患者和移動(dòng)用戶。數(shù)據(jù)包含了所有的情況，這意味著研究人員掌握了各種亞人群組信息，比如吸煙人群。
最后，研究沒有發(fā)現(xiàn)使用移動(dòng)電話和癌癥風(fēng)險(xiǎn)增加之間存在任何關(guān)系。因此，當(dāng)2011年10月研究結(jié)果在《英國醫(yī)學(xué)雜志》上發(fā)布時(shí)，并未在媒體中引起任何轟動(dòng)。但是如果兩者之間存在關(guān)聯(lián)的話，它可能馬上就會(huì)登上世界各地的頭版頭條，而“重組數(shù)據(jù)”也可能會(huì)隨之名聲大噪。

促成數(shù)據(jù)再利用的方法之一是從一開始就設(shè)計(jì)好它的可擴(kuò)展性。

例如，有些零售商在店內(nèi)安裝了監(jiān)控?cái)z像頭，這樣不僅能認(rèn)出商店扒手，還能跟蹤在商店里購物的客戶流和他們停留的位置。零售商利用后面的信息可以設(shè)計(jì)店面的最佳布局并判斷營銷活動(dòng)的有效性。

數(shù)據(jù)的折舊值是很值得關(guān)注的。隨著時(shí)間的推移，大多數(shù)數(shù)據(jù)都會(huì)失去一部分基本用途。在這種情況下，繼續(xù)依賴于舊的數(shù)據(jù)不僅不能增加價(jià)值，實(shí)際上還會(huì)破壞新數(shù)據(jù)的價(jià)值。

比如十年前你在亞馬遜買了一本書，而現(xiàn)在你可能已經(jīng)對它完全不感興趣。如果亞馬遜繼續(xù)用這個(gè)數(shù)據(jù)來向你推薦其他書籍，你就不太可能購買帶有這類標(biāo)題的書籍，甚至?xí)?dān)心該網(wǎng)站之后的推薦是否合理。這些推薦的依據(jù)既有舊的過時(shí)的信息又有近期仍然有價(jià)值的數(shù)據(jù)，而舊數(shù)據(jù)的存在破壞了新數(shù)據(jù)的價(jià)值。

而且很多看似沒有用處的數(shù)據(jù)，我們將其稱為數(shù)據(jù)廢氣，其實(shí)可能有意向不到的用處。

巴諾與NOOK快照
電子書閱讀器捕捉了大量關(guān)于文學(xué)喜好和閱讀人群的數(shù)據(jù)：讀者閱讀一頁或一節(jié)需要多長時(shí)間，讀者是略讀還是直接放棄閱讀，讀者是否畫線強(qiáng)調(diào)或者在空白處做了筆記，這些他們都會(huì)記錄下來。這就將閱讀這種長期被視為個(gè)人行為的動(dòng)作轉(zhuǎn)換成了一種共同經(jīng)驗(yàn)。一旦聚集起來，數(shù)據(jù)廢氣可以用量化的方式向出版商和作者展示一些他們可能永遠(yuǎn)都不會(huì)知道的信息，如讀者的好惡和閱讀模式。這是十分具有商業(yè)價(jià)值的。電子圖書出版公司可以將這些信息賣給出版商，從而幫助改進(jìn)書籍的內(nèi)容和結(jié)構(gòu)。例如，巴諾通過分析Nook電子閱讀器的數(shù)據(jù)了解到，人們往往會(huì)棄讀長篇幅的非小說類書籍。公司從中受到啟發(fā)，從而推出“Nook快照”，加入了一系列健康和時(shí)事等專題的短篇作品。

開放數(shù)據(jù)會(huì)給數(shù)據(jù)創(chuàng)新帶來更多可能性。

2008年1月21日，奧巴馬總統(tǒng)在就職的第一天發(fā)表了一份總統(tǒng)備忘錄，命令美國聯(lián)邦機(jī)構(gòu)的負(fù)責(zé)人公布盡可能多的數(shù)據(jù)，這使開放政府?dāng)?shù)據(jù)的想法取得了極大的進(jìn)展。“面對懷疑，公開優(yōu)先?！彼@樣指示道。這真是一個(gè)了不起的聲明，特別是與那些作出相反指令的前任們相比。奧巴馬的指令促成了data.gov網(wǎng)站的建立，這是美國聯(lián)邦政府的公開信息資料庫。網(wǎng)站從2009年的47個(gè)數(shù)據(jù)集迅速發(fā)展起來，到2012年7月三周年時(shí)，數(shù)據(jù)集已達(dá)45萬個(gè)左右，涵蓋了172個(gè)機(jī)構(gòu)。

9.誰會(huì)成為大數(shù)據(jù)時(shí)代最大的獲利者

如今，我們正處在大數(shù)據(jù)時(shí)代的早期，思維和技術(shù)是最有價(jià)值的，但是最終大部分的價(jià)值還是必須從數(shù)據(jù)本身中挖掘。

根據(jù)所提供價(jià)值的不同來源，分別出現(xiàn)了三種大數(shù)據(jù)公司。這三種來源是指：數(shù)據(jù)本身、技能與思維。

第一種是基于數(shù)據(jù)本身的公司。這些公司擁有大量數(shù)據(jù)或者至少可以收集到大量數(shù)據(jù)，卻不一定有從數(shù)據(jù)中提取價(jià)值或者用數(shù)據(jù)催生創(chuàng)新思想的技能。最好的例子就是Twitter，它擁有海量數(shù)據(jù)這一點(diǎn)是毫無疑問的，但是它的數(shù)據(jù)都通過兩個(gè)獨(dú)立的公司授權(quán)給別人使用。

第二種是基于技能的公司。它們通常是咨詢公司、技術(shù)供應(yīng)商或者分析公司。它們掌握了專業(yè)技能但并不一定擁有數(shù)據(jù)或提出數(shù)據(jù)創(chuàng)新性用途的才能。比方說，沃爾瑪和Pop-Tarts這兩個(gè)零售商就是借助天睿公司（Teradata）的分析來獲得營銷點(diǎn)子，天睿就是一家大數(shù)據(jù)分析公司。

第三種是基于思維的公司。皮特·華登（Pete Warden），Jetpac的聯(lián)合創(chuàng)始人，就是通過想法獲得價(jià)值的一個(gè)例子。Jetpac通過用戶分享到網(wǎng)上的旅行照片來為人們推薦下次旅行的目的地。對于某些公司來說，數(shù)據(jù)和技能并不是成功的關(guān)鍵。讓這些公司脫穎而出的是其創(chuàng)始人和員工的創(chuàng)新思維，他們有怎樣挖掘數(shù)據(jù)的新價(jià)值的獨(dú)特想法。

10.什么是大數(shù)據(jù)思維

所謂大數(shù)據(jù)思維，是指一種意識(shí)，認(rèn)為公開的數(shù)據(jù)一旦處理得當(dāng)就能為千百萬人急需解決的問題提供答案。

布拉德福德·克羅斯（Bradford Cross）用擬人手法解釋了什么是有大數(shù)據(jù)思維。2009年8月，也就是在他20多歲的時(shí)候，他和四個(gè)朋友一起創(chuàng)辦了FlightCaster.com。和FlyOnTime.us類似，這個(gè)網(wǎng)站致力于預(yù)測航班是否會(huì)晚點(diǎn)。它主要基于分析過去十年里每個(gè)航班的情況，然后將其與過去和現(xiàn)實(shí)的天氣情況進(jìn)行匹配。
有趣的是，數(shù)據(jù)擁有者就做不到這樣的事情。因?yàn)閿?shù)據(jù)擁有者沒有這樣使用數(shù)據(jù)的動(dòng)機(jī)和強(qiáng)制要求。事實(shí)上，如果美國運(yùn)輸統(tǒng)計(jì)局、美國聯(lián)邦航空局和美國天氣服務(wù)這些數(shù)據(jù)擁有者敢將航班晚點(diǎn)預(yù)測用作商業(yè)用途的話，國會(huì)可能就會(huì)舉辦聽證會(huì)并否決這個(gè)提議。所以使用數(shù)據(jù)的任務(wù)就落到了一群不羈的數(shù)學(xué)才子的身上。同樣，航空公司不可以這么做，也不會(huì)這么做，因?yàn)檫@些數(shù)據(jù)所表達(dá)的信息越隱蔽對它們就越有利。FlightCaster的預(yù)測是如此的準(zhǔn)確，就連航空公司的職員也開始使用它了。但是需要注意的一點(diǎn)就是，雖然航空公司是信息的源頭，但是不到最后一秒它是不會(huì)公布航班晚點(diǎn)的，所以它的信息是不及時(shí)的。

11.數(shù)據(jù)中間商也可以賺差價(jià)

誰在這個(gè)大數(shù)據(jù)價(jià)值鏈中獲益最大呢？現(xiàn)在看來，應(yīng)該是那些擁有大數(shù)據(jù)思維或者說創(chuàng)新性思維的人。

但是，這種先決優(yōu)勢并不能維持很長的時(shí)間。隨著大數(shù)據(jù)時(shí)代的推進(jìn)，別人也會(huì)吸收這種思維，然后那些先驅(qū)者的優(yōu)勢就會(huì)逐漸減弱。

那么，核心價(jià)值會(huì)不會(huì)在技術(shù)上？

事實(shí)上，國外的外包公司使得基礎(chǔ)的計(jì)算機(jī)編程技術(shù)越來越廉價(jià)，如今它甚至成為了世界貧困人口的致富驅(qū)動(dòng)力，而不再代表著高端技術(shù)。

我們正處在大數(shù)據(jù)時(shí)代的早期，思維和技能是最有價(jià)值的，但是最終，大部分的價(jià)值還是必須從數(shù)據(jù)本身中挖掘。在有些情況下會(huì)出現(xiàn)“數(shù)據(jù)中間人”，它們會(huì)從各種地方搜集數(shù)據(jù)進(jìn)行整合，然后再提取有用的信息進(jìn)行利用。數(shù)據(jù)擁有者可以讓中間人充當(dāng)這樣的角色，因?yàn)橛行?shù)據(jù)的價(jià)值只能通過中間人來挖掘。

數(shù)據(jù)中間商，交通數(shù)據(jù)處理公司Inrix
總部位于西雅圖的交通數(shù)據(jù)處理公司Inrix就是一個(gè)很好的例子。它匯集了來自美洲和歐洲近1億輛汽車的實(shí)時(shí)交通數(shù)據(jù)。這些數(shù)據(jù)來自寶馬、福特、豐田等私家車，還有一些商用車，比如出租車和貨車。私家車主的移動(dòng)電話也是數(shù)據(jù)的來源。這也解釋了為什么它要建立一個(gè)免費(fèi)的智能手機(jī)應(yīng)用程序，因?yàn)橐环矫嫠梢詾橛脩籼峁┟赓M(fèi)的交通信息，另一方面它自己就得到了同步的數(shù)據(jù)。Inrix通過把這些數(shù)據(jù)與歷史交通數(shù)據(jù)進(jìn)行比對，再考慮進(jìn)天氣和其他諸如當(dāng)?shù)貢r(shí)事等信息來預(yù)測交通狀況。數(shù)據(jù)軟件分析出的結(jié)果會(huì)被同步到汽車衛(wèi)星導(dǎo)航系統(tǒng)中，政府部門和商用車隊(duì)都會(huì)使用它。
Inrix是典型的獨(dú)立運(yùn)作的大數(shù)據(jù)中間商。它匯聚了來自很多汽車制造商的數(shù)據(jù)，這些數(shù)據(jù)能產(chǎn)生的價(jià)值要遠(yuǎn)遠(yuǎn)超過它們被單獨(dú)利用時(shí)的價(jià)值。每個(gè)汽車制造商可能都會(huì)利用它們的車輛在行駛過程中產(chǎn)生的成千上萬條數(shù)據(jù)來預(yù)測交通狀況，這種預(yù)測不是很準(zhǔn)確也并不全面。但是隨著數(shù)據(jù)量的激增，預(yù)測結(jié)果會(huì)越來越準(zhǔn)確。同樣，這些汽車制造商并不一定掌握了分析數(shù)據(jù)的技能，它們的強(qiáng)項(xiàng)是造車，而不是分析泊松分布。所以它們都愿意第三方來做這個(gè)預(yù)測的事情。另外，雖然交通狀況分析對駕駛員來說非常重要，但是這幾乎不會(huì)影響到一個(gè)人是否會(huì)購車。所以，這些同行業(yè)的競爭者們并不介意通過行業(yè)外的中間商匯聚它們手里的數(shù)據(jù)。

12.你的隱私還是你的隱私嗎

我們時(shí)刻都暴露在“第三只眼”之下：亞馬遜監(jiān)視著我們的購物習(xí)慣，谷歌監(jiān)視著我們的網(wǎng)頁瀏覽習(xí)慣，而微博似乎什么都知道，不僅竊聽到了我們心中的“TA”，還有我們的社交關(guān)系網(wǎng)。

如何保證數(shù)據(jù)安全呢？

第一招：告知與許可

“告知與許可”已經(jīng)是世界各地執(zhí)行隱私政策的共識(shí)性基礎(chǔ)（雖然實(shí)際上很多的隱私聲明都沒有達(dá)到效果，但那是另一回事）。over

還有一個(gè)辦法就是對特定數(shù)據(jù)模糊化，如果所有人的信息本來都已經(jīng)在數(shù)據(jù)庫里，那么有意識(shí)地避免某些信息就是此地?zé)o銀三百兩。

我們把谷歌街景作為一個(gè)例子來看，谷歌的圖像采集車在很多國家采集了道路和房屋的圖像（以及很多備受爭議的數(shù)據(jù)）。但是，德國媒體和民眾強(qiáng)烈地抗議了谷歌的行為，因?yàn)槊癖娬J(rèn)為這些圖片會(huì)幫助黑幫竊賊選擇有利可圖的目標(biāo)。有的業(yè)主不希望他的房屋或花園出現(xiàn)在這些圖片上，頂著巨大的壓力，谷歌同意將他們的房屋或花園的影像模糊化。但是這種模糊化卻起到了反作用，因?yàn)槟憧梢栽诮志吧峡吹竭@種有意識(shí)的模糊化，對盜賊來說，這又是一個(gè)此地?zé)o銀三百兩的例子。

另一條技術(shù)途徑在大部分情況下也不可行，那就是匿名化。

在小數(shù)據(jù)時(shí)代這樣確實(shí)可行，但是隨著數(shù)據(jù)量和種類的增多，大數(shù)據(jù)促進(jìn)了數(shù)據(jù)內(nèi)容的交叉檢驗(yàn)。看下面例子。over

2006年8月，美國在線（AOL）公布了大量的舊搜索查詢數(shù)據(jù)，本意是希望研究人員能夠從中得出有趣的見解。這個(gè)數(shù)據(jù)庫是由從3月1日到5月31日之間的65.7萬用戶的2000萬搜索查詢記錄組成的，整個(gè)數(shù)據(jù)庫進(jìn)行過精心的匿名化——用戶名稱和地址等個(gè)人信息都使用特殊的數(shù)字符號(hào)進(jìn)行了代替。這樣，研究人員可以把同一個(gè)人的所有搜索查詢記錄聯(lián)系在一起來分析，而并不包含任何個(gè)人信息。
盡管如此，《紐約時(shí)報(bào)》還是在幾天之內(nèi)通過把“60歲的單身男性”、“有益健康的茶葉”、“利爾本的園丁”等搜索記錄綜合分析考慮后，發(fā)現(xiàn)數(shù)據(jù)庫中的4417749號(hào)代表的是佐治亞州利爾本的一個(gè)62歲寡婦塞爾瑪·阿諾德（Thelma Arnold）。當(dāng)記者找到她家的時(shí)候，這個(gè)老人驚嘆道：“天吶！我真沒想到一直有人在監(jiān)視我的私人生活?！边@引起了公憤，最終美國在線的首席技術(shù)官和另外兩名員工都被開除了。文章來源地址http://www.zghlxwxcb.cn/news/detail-468809.html

到了這里，關(guān)于大數(shù)據(jù)時(shí)代——生活、工作與思維的重大變革的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！