智能制造網(wǎng)APP
智能制造網(wǎng)手機站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務號
智能控制
機器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
明基環(huán)保
以下是文章主要內(nèi)容：
5年前——2012年2月——《紐約時報》刊文高呼人類的一個新紀元的到來：“大數(shù)據(jù)時代”。
該文章告訴我們，社會將開始發(fā)生一場革命，在這場革命中，海量數(shù)據(jù)的收集與分析將會改變?nèi)藗兩畹膸缀趺恳粋€方面。
數(shù)據(jù)分析不再局限于電子數(shù)據(jù)表和回歸分析：超級計算的到來，伴隨著可持續(xù)記錄數(shù)據(jù)并將數(shù)據(jù)傳送到云端的聯(lián)網(wǎng)傳感器的不斷普及，意味著邁克爾·劉易斯(Michael Lewis)2003年的棒球書籍《Moneyball》所描述的那種先進數(shù)據(jù)分析有望被應用于各行各業(yè)，從商業(yè)到學術(shù)，再到醫(yī)療和兩性關(guān)系。
不僅如此，的數(shù)據(jù)分析軟件還有助于鑒定完全意想不到的相關(guān)性，比如貸款方用盡額度和他債務違約的可能性之間的關(guān)系。這勢必將會催生會改變我們思考幾乎一切事物的新穎見解。
《紐約時報》并不是個得出這一結(jié)論的企業(yè)機構(gòu)：它的文章引用了麥肯錫咨詢公司2011年的一份重大報告，其觀點也得到了2012年瑞士達沃斯世界經(jīng)濟論壇題為“大數(shù)據(jù)，大影響”的官方報告的支持。但這種宣言仿佛就是標志大數(shù)據(jù)時代開啟的里程碑。
在之后的一個月里，巴拉克·奧巴馬(Barack Obama)的白宮成了一個2億美元的國家大數(shù)據(jù)項目，瘋狂熱潮隨即襲來：學術(shù)機構(gòu)、非盈利組織、政府和企業(yè)都爭相去探究“大數(shù)據(jù)”究竟是什么，他們可以如何好好利用它。
事實證明，這種瘋狂沒有持續(xù)很長時間。5年后，數(shù)據(jù)在我們的日常生活中扮演重要很多的角色，但大數(shù)據(jù)一詞已經(jīng)不再流行——甚至讓人覺得有些討厭。我們被允諾的那場革命究竟發(fā)生了什么呢？數(shù)據(jù)、分析技術(shù)和算法現(xiàn)在又在往什么方向發(fā)展呢？這些問題值得回頭去思考。
科技咨詢公司Gartner在它2015年相當有名的“技術(shù)成熟度曲線”報告中不再使用“大數(shù)據(jù)”一次，之后該詞再也沒有回歸。該公司澄清道，這并不是因為企業(yè)放棄挖掘巨量數(shù)據(jù)集獲得洞見的概念。而是因為那種做法已經(jīng)變得廣為流行，以至于它不再符合“新興技術(shù)”的定義。
大數(shù)據(jù)幫助驅(qū)動我們的動態(tài)消息、Netflix視頻推薦、自動化股票交易、自動校正功能、健康跟蹤設(shè)備等不計其數(shù)的工具背后的算法。但我們現(xiàn)在不大使用大數(shù)據(jù)一詞了——我們只是將它稱作數(shù)據(jù)。我們開始將數(shù)據(jù)集能夠包含無數(shù)的觀察結(jié)果，先進軟件能夠檢測當中的趨勢當做理所當然的事情。
大數(shù)據(jù)引發(fā)的嚴重錯誤
雖然該詞仍有被使用，但它更多地帶有一種不好的意味，比如凱茜·奧尼爾(Cathy O’Neil)2016年的著作《數(shù)學殺傷性武器》(Weapons of Math Destruction)或者弗蘭克·帕斯夸里(Frank Pasquale)2015年的《黑箱社會》(The Black Box Society)。匆忙執(zhí)行和應用大數(shù)據(jù)，即進行所謂的“數(shù)據(jù)驅(qū)動型決策”，帶來了嚴重的錯誤。
有的錯誤相當惹人注目：塔吉特(Target)曾向一位沒跟任何人說過自己懷孕的少女的家庭派送嬰兒用品優(yōu)惠券；Pinterest曾恭喜一位單身女性即將結(jié)婚；谷歌照片(Google Photos)也曾引發(fā)軒然大波，該公司被大肆吹捧的AI將黑人誤以為是大猩猩，原因是它的訓練數(shù)據(jù)不夠多元化。(值得指出的是，至少在該事件中，“大數(shù)據(jù)”還不夠大。)
其它的錯誤更為微妙，或許也更加陰險。當中包括奧尼爾在她的重要著作中記錄的那些不透明的數(shù)據(jù)驅(qū)動式制度性模型：被法庭用來判決罪犯的、帶有種族偏見的累犯模型，或者那些基于可疑的測驗分數(shù)數(shù)據(jù)解雇備受愛戴的教師的模型。大數(shù)據(jù)出錯的新案例可謂層出不窮——比如Facebook算法明顯幫助俄羅斯通過針對性的假新聞影響美國總統(tǒng)大選的結(jié)果。
盲目迷戀數(shù)據(jù)與誤用
“大數(shù)據(jù)”的問題并不在于數(shù)據(jù)本身很糟糕，也不在于大數(shù)據(jù)本身很糟糕：謹慎應用的話，大型數(shù)據(jù)集還是能夠揭示其它途徑發(fā)現(xiàn)不了的重要趨勢。正如茱莉婭·羅斯·韋斯特(Julia Rose West)在近給Slate撰寫的文章里所說的，盲目迷戀數(shù)據(jù)，不加批判地使用，往往導致災難的發(fā)生。
從本質(zhì)來看，大數(shù)據(jù)不容易解讀。當你收集數(shù)十億個數(shù)據(jù)點的時候——一個網(wǎng)站上的點擊或者光標位置數(shù)據(jù)；大型公共空間十字轉(zhuǎn)門的轉(zhuǎn)動次數(shù)；對世界各地每個小時的風速觀察；推文——任何給定的數(shù)據(jù)點的來源會變得模糊。這反過來意味著，看似別的趨勢可能只是數(shù)據(jù)問題或者方法造成的產(chǎn)物。但也許更重大的問題是，你所擁有的數(shù)據(jù)通常只是你真正想要知道的東西的一個指標。大數(shù)據(jù)不能解決那個問題——它反而放大了那個問題。
例如，民意調(diào)查被廣泛用作衡量人們在選舉中的投票意向的指標。然而，從湯姆·布拉德利(Tom Bradley)1982年在加州州長競選中敗北，到英國脫歐公投，再到的當選，數(shù)十年來結(jié)果出乎意料的選舉一再提醒我們，民意測驗和人們實際的投票意向之間并不總是完全一致。Facebook以往主要通過用戶有沒有點贊來估量他們對特定的帖子是否有興趣。但隨著經(jīng)過算法優(yōu)化的動態(tài)信息開始大量出現(xiàn)標題誘餌、點贊誘餌和嬰兒照片——導致用戶滿意度明顯下降——該公司的高層逐漸意識到，“點贊”這事并不一定意味著用戶真的喜歡特定的內(nèi)容。
指標和你實際上要估量的東西之間的差別越大，過于倚重它就越危險。以來自奧尼爾的著作的前述例子為例：學區(qū)使用數(shù)學模型來讓教師的表現(xiàn)評估與學生的測驗分數(shù)掛鉤。學生測驗分數(shù)與不在教師控制范圍內(nèi)的無數(shù)重要因素有關(guān)。大數(shù)據(jù)的其中一個優(yōu)勢在于，即便是在非常嘈雜的數(shù)據(jù)集里，你也可以發(fā)現(xiàn)有意義的關(guān)聯(lián)性，這主要得益于數(shù)據(jù)量大以及理論上能夠控制混雜變量的強大軟件算法。
例如，奧尼爾描述的那個模型，利用來自多個學區(qū)和體系的學生的眾多人口結(jié)構(gòu)方面的相關(guān)性，來生成測驗分數(shù)的“預期”數(shù)據(jù)集，再拿它們與學生的實際成績進行比較。(由于這個原因，奧尼爾認為它是“大數(shù)據(jù)”例子，盡管那個數(shù)據(jù)集并不夠大，沒達到該詞的一些技術(shù)定義的門檻。)
浙公網(wǎng)安備 33010602000006號
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號
