導讀 互聯網的普及使得人類處在一個信息量爆炸的大數據時代，而網上的新聞和信息都存在大量的循壞引用，使得真實可靠性受到質疑。本文將通過分享在實踐中遇到的數據亂用濫用的案例，給出避免無效數據分析的手段，幫助大家建立正確看數據的意識，拆穿數據謊言。

(資料圖片)

全文目錄：

1. 案例分析

2. 無效數據

分享嘉賓｜郭晶 度小滿 資深數據科學家

編輯整理｜田穎蘭 三一重工

出品社區｜DataFun

01

案例分析

案例一：醫學科普博主分享內容，不吃早餐到底是不是真的有危害的？

網上的帖子總是“危言聳聽”的建議一定要吃早餐，不然輕則會發胖，重則會得膽結石等等。在傳統的觀念里，早餐通常會被狹義的定義為早上吃的這頓飯，而且至少需要是早上十點之前完成。但是，在固定的時間完成早飯的進食是否真的具有如此大的影響？國外對于這個問題做了一系列的研究。英文中，早餐一詞為break-fast，它的原始含義是指一天中的第一餐、長時間斷食后的進食（這里就出現了定義的不同）。根據研究發現，如果長時間斷食，的確對身體是有危害的。接著，這位醫學科普博主去翻閱這些年關于是否要吃早餐的態度變化，發現最早提出說不吃早餐會危害健康這個觀點的，來自于上個世紀美國某家麥片公司的廣告。

人們跨入大數據時代后，人們甄別新聞和廣告的真實性時，由于缺少足夠的理論判斷，一方面只要新聞和廣告給出看似是統計的數據時，人們主觀上會傾向于相信這個內容是真實的，另一方面，去溯源這些數據的真實性客觀上也會耗費大量的時間和精力，這就導致了信息和數據會被輕易的傳播和使用。這也正是本次分享這個主題的原因。

案例二：超過80%的牙醫都推薦高露潔

這是2007年高露潔的一個廣告，但這個廣告出現后不久，就被廣告管理局下架了，給出的原因是這個廣告可能會存在誘導消費的傾向。實際上，高露潔的確是對很多牙醫做了訪問，但問題出在了，他們給牙醫的選擇并不是唯一的，而是一個多選題，牙醫既可以推薦高露潔也可以推薦佳潔士、oral-B。的確80%的牙醫推薦了高露潔，但同時100%的牙醫推薦了佳潔士，還有80%的牙醫推薦了oral-B。

所以當我們看到數據的時候，我們看到的數據可能只是冰山一角，我們只看到了別人想讓我們看到的這部分數據。

案例三：第三代避孕藥會增加近一倍的血栓塞風險概率

這個案例是發生在1995年10月，當時英國的醫學安全委員會給出了這樣一個警告，第三代避孕藥會增加近一倍的血栓塞風險概率，導致了公眾對于這一款產品的恐慌。

首先觀測數據的來源，醫學安全委員會確實做了非常嚴謹的統計，結果顯示，使用避孕藥之前的人群中，出現這個風險的人數是15個，但是因為第三代避孕藥產品的出現，導致人數漲到了25個人，的確風險從10漲到了15，漲了67%。

但從相對值的角度仔細觀測一下數據，風險值只是從十萬分之十五漲到了十萬分之二十五，這就意味著每萬人才會增加一例風險。這就意味著風險的絕對值增加了萬分之一，如果看這個數字的話其實是微不足道的。

所以換一種表達方式能夠傳達出來的信息是完全不一樣的，但是當時的公眾并沒有及時的發現，所以導致于在這個避孕藥的警告出現的這段時間之內，英國整體的墮胎率上漲了非常多（對整個社會都產生了長期的負面影響）。

案例四：倫敦兇殺案超過紐約

繼續來看一個2018年的新聞報道，內容是倫敦的謀殺率超過了紐約。因為在這一年2月的時候，倫敦的謀殺案是15例，而紐約是14例。因為紐約一直是被認為不安全的城市，所以這個新聞出來之后，大家都覺著英國也墮落了，治安情況竟然都要不如紐約了。

但是早在1990年，全年倫敦發生190起兇殺案的時候，同期的紐約則發生了近2300起的兇殺案，在那個年代倫敦就已經被認為是安全城市了，而且倫敦的兇殺率也是一直是遠遠低于紐約的?？捎譃槭裁磿霈F這個情況呢，主要原因是，新聞報道者只選取了全年一兩個月的數據來大做文章。實際上，倫敦的整體結果仍然好于紐約，只是這一兩個月出現了偶發性的偏差。而且這兩個國家的出廠配置的數據基礎完全不一樣，一個的進步空間或者說邊界效益已經很小了，而另外一個的數據優化上操作性還有很高。所以，“我們看到的數據可能只是冰山一角”。

案例五：法官決策vs算法決策

上述幾個案例都是新聞用數據來唬人的例子，但有些時候數據還是很有用的，就比如最近Chat-GPT大火，現在美國一些法官開始用其做案件的決策。

又比如，2011年倫敦騷亂的案件，起始原因是一個黑人居民被白人警察刺殺了，這一事件引發了很多不滿，所以導致了一系列的暴亂，也出現了很多順手牽羊的人。

第一個人羅賓遜，從超市里面順走了一箱水；第二個人約翰遜，從游戲店里面順走了很多臺游戲機。最后這兩個人的判刑結果是完全不一樣的，第一個人最終被判了六個月，第二個人沒有被判刑。為什么明明第一個人盜竊的物品價值更低，確判了更重的刑呢？原因是第一個人是在案件發生之后的兩周之內被審判的，那個時候法官急于向社會起到一個警示的作用，所以判案邏輯更嚴格。但第二個人已經到了半年之后，民眾已經忘記了騷亂到底是什么引起的，所以在當時沒有被嚴格的處理。

后來很多學者一直研究法官本身在決策上是否能夠保持一致。結果表明，如果把一個完全一樣的案件，改變犯人姓名，或者改變案件的時間地點，或者是改變其它一些細節，讓同一個法官去進行決策，他可能會做出和原來完全不一樣的決策。另外，如果把同樣的案件拿給不同的法官去判，也會出現不同的結果。因為法官的主觀因素影響非常大。

但把這些案件拿給機器或者算法去決策，來檢驗算法是否能做出來比法官更好的裁決，結果是算法的確表現的更好。算法對原本法官定為無罪的案件識別為有罪，經過測算發現可以降低25%的犯罪率（通過對案卷長期追蹤之后，發現算法判決有罪的這些案件主犯在之后的一段時間又重復犯罪了）。

算法同樣把一部分之前法官定為有罪的犯人判決為無罪，減少40%的拘留人員（在長期的案件追蹤來看，這些犯人確實沒有再次犯罪了）。這也就意味著，算法可以提前預防犯罪，也可以幫助不需要關押的罪人，減少社會資源的浪費。

但為什么法官會有決策失誤？原因是他們會犯現行犯罪誤區的錯誤，也就是說，在決策嫌疑人是應該被釋放還是應該被定罪的時候，法官的注意力主要集中在被指控的這個罪行本身，即使嫌疑人的犯罪記錄表明他們是慣犯，但如果他們這次被指控的行為是比較輕微的，法官仍然會把他定為輕微罪行而釋放掉。而另外一方面，如果當前的被告看起來情節是很嚴重的，就算他之前的犯罪行為不多，法官也仍然會認為他是一個危害性很大的罪犯而拒絕保釋。

所以盡管法官比算法更有經驗或者說更有頭腦，但是算法在判案的時候會把案件所有有用的信息都考慮進來，從而做出更為一致的判決。

案例六：法官決策和統計定罪

再看一個早期用統計學來輔助支持法官決策的案例。上個世紀60年代一位老婦人在洛杉磯被打劫了，嫌疑人是一個金發白人女性，這個人還有一個同伙，是一個留著胡須的開著一輛黃色汽車的黑人。

后來警察在洛杉磯發現了恰巧有這么一對夫婦具備同樣的特征，就把他們逮捕了。因為沒有人看到這兩個人的真實長相，所以法官就去問了一個數學家，證明他們可能是無辜的概率是多少。我們知道每一個特征的發生都是有一定概率的，綜合計算下來，一對夫婦恰巧具備這些特征的概率是12萬分之一，那就意味著他們不是嫌疑人的概率只有12萬分之一，他們大概率就是犯罪嫌疑人。

由此引出條件概率的概念， 舉一個簡單的例子，比如現在知道有一個生物有四條腿，那么它可能是一只狗的概率是多少呢？四條腿的生物非常多，是狗的概率可能只有千分之一。但如果把這兩個條件互換一下，先知道有一只狗，那么它是四條腿的概率則是非常大的，只要它不是殘疾。

再假如一個家庭有兩個孩子，如果已知其中一個是男孩，那么另外一個也是男孩的概率是多少？直覺來看，概率應該是1/2，因為孩子的性別是隨機的。但是如果把可能性的組合列出來，這兩個孩子可能的性別組合分別是哥哥弟弟、哥哥妹妹、姐姐弟弟和姐姐妹妹，現在知道其中一個是男孩，那么就意味著肯定不是姐姐妹妹的這個組合，那從剩下的三個組合里面，得到另外一個是男孩只有哥哥弟弟的這個組合，概率其實是1/3，而不是1/2。

抽象的來看，條件概率是指假如知道B已經發生了，那么A會發生的概率是多少。這個概率和已經先知道A會發生，那么B發生的概率是不相等的。這個差別在于A和B它們本身發生的概率是不相等的。

再來思考一下這樣一個問題，如果被測定為陽性，那么真實患病的概率是多少？

假如人群中某種疾病的患病率是1%，其他人是健康的，那么隨機挑出來的一個人，他是健康的概率就是99%，得病的概率就是1%。假設檢測出錯的概率是1%，也就是對健康的人錯誤顯示為陽性的概率就是1%。健康人正確檢測為陰性的概率是99%。得病的人能夠正確檢測為陽性的概率是99%，得病的人被錯誤檢測為陰性的概率是1%。

一個人健康且能被正確檢測為陰性的概率是多少呢？應該用氣健康的概率乘以他在健康的情況下被正確檢測的概率，也就是99%乘99%，結果是98%。類似的，病人能被正確檢測出陽性的概率，是得病的概率乘以他在得病情況下正確檢測的概率，也就是1%乘99%，結果是0.99%。

而假陽性的概率是健康的概率乘以健康的狀態下被錯誤檢測的概率，也就是99%乘以1%，結果是0.99%。假陰性的概率則是得病的概率乘以檢測失誤的概率，也就是1%乘1%，結果是0.01%。

所以最終檢測結果顯示為陽性的概率，是檢測為陽性的健康人加上檢測為陽性的病人的概率，結果為1.98%。由此可以得到，當被檢測為陽性時，真實得病的概率，是患病被正確檢測出來的概率，除以檢測為陽性的概率，也就是0.99除以1.98，結果為50%。這意味著檢測準確性非常高的測試仍然會失誤，判定為陽性的情況下仍然有很高的概率沒有患病。

再回過頭來看一下前面的案例，用數學統計來決策那對夫婦是不是真的罪犯，現在把條件換一下，假如我們知道這個城市中有十對夫婦都具備這樣的特征，那么恰巧是這對夫婦的概率就變成了1/10。按之前的算法他們無辜的概率可能只是12萬分之一，但現在他們無辜的概率變成了90%，這是完全不同的結論。

案例七：問卷調查真的有效嗎？

在真實的業務中，當我們對用戶不太了解的時候，或者說對整個大盤的現狀非常迷茫的時候，我們希望通過問卷的方式來解決內心的一些疑惑，但是這真的能更好的解釋現狀嗎？

這是我們真實業務場景的一個問題，度小滿是一家做信貸的公司，主營業務是貸款服務。

當用戶有用錢的需求時會來申請我們的貸款服務，我們的風控會決策給他多少的額度和定價。我們非常希望知道這個用戶在外部的競品那里能夠獲得的額度和定價，這樣能夠幫助我們更好的實現競爭。

用條件概率來算一下，在這個場景下，如果向用戶收集的問題是，他在外部競品有沒有更好的offer（額度和價格）？我們需要計算在收集回來的答案中，有多少是真實的。

假設有40%的用戶能夠在我們的競品中拿到更好的offer。且在用戶真的有一個更好offer的情況下，他大概率不會對我們撒謊，但如果他并沒有更好的offer，那么可能大概率會傾向于對我們撒謊，我們先假設這個撒謊的比例是80%（大部分人希望能夠在我們這獲得一個更優的對待，所以他們會先撒謊，試圖拿這個條件來跟我們“談判”）。

用同樣的計算邏輯，最后收集回來的問卷中會回答有更好offer的比例就是：用戶真的在外部有的概率，加上用戶沒有但是他謊稱他有的概率，結果是88%；也就是88%的人會回答我們不如外部公司。

那真實的我們不如其他公司的概率是多少呢？是40%除以88%， 45%。這就意味著，88%的用戶會回答我們給他的offer不如其他公司，但真實的是只有一半的比例我們確實不如其他公司。

因此盡管問卷調查的確在某些場景可以提供一些定性的結論，但如果想要從定量的角度分析問卷的結果，可能會造成很多的資源浪費。比如剛才的這個例子當只有一半的人回答是真實的，另外一半的人回答是虛假的時候，假如我們把資源浪費在這一半虛假的回答上面的話，會造成很大的資源浪費，同時也會增加壞人的逾期風險，收益和成本可能是完全不對等的。

案例八：比較兩家航空公司的運營效率

左邊這個圖是兩家航空公司在不同機場的延誤率，最終的結果顯示阿拉斯加航空的整體延誤率是13%，西部航空的延誤率是10%，是否可以得出結論，西部航空的運營效率更高呢？因為他們的整體延誤率更低。

但是觀測各個分組的表現，發現阿拉斯加航空不管是在哪一個機場，延誤率都比西部航空更低，為什么會出現最終整體的這個結果反過來了呢？ 這其實是一個辛普森悖論現象， 因為西部航空的大部分航線都分布在鳳凰城這個機場，這個機場的延誤率又是最低的，因此拉低了最終整體的延誤率。

也就是當我們已知

，無法推導出

，因為我們不知道分母里每個成分占比是多少。

辛普森悖論現象也經常發生在生活和工作中。比如當討論北京市2023年人均收入（所有人對數據異常敏感的時候），網絡上的評論大多都是“我到底被誰給平均了”、“收入中位數是多少”；這是因為有錢人的占比非常低，但他們的收入絕對值是遠遠高于正常水平的。

如果數據是一個正態分布，中位數、平均數和眾數都會位于正中，但如果數據是右偏分布，那么平均數是遠遠高于中位數的。收入就是一個右偏分布，這才會導致“平均收入”遠遠高于大部分人真實的收入水平。

第二個場景發生在AB test里面。經常會犯的一個錯誤是，拿非常小的流量做的測試推廣到全流量上，或者是用某一個渠道上做的實驗最后把結果用在了另外一個渠道上，導致最終我們想要生效的那個渠道的結果和預期完全不一樣。主要原因是，這兩個群體的用戶組成完全不同。

當前各個公司普遍存在的一個問題是，沒有一個科學的AB實驗平臺，因為AB實驗平臺需要非常多工程架構上的設計和數據統計知識支撐，由于真實業務的復雜性，很多公司連最基本的隨機流量分配的能力可能都是沒有具備的。

辛普森悖論在模型訓練和指標管理方面也可以給我們帶來一些啟示。比如模型訓練中，假設模型訓練的特征只有影片的類型和影片的來源，訓練目標是點擊率。

模型1得出的結論是，內地的恐怖片點擊率高于香港的文藝片。假如這個時候把性別的特征加入到模型中，結果是完全不一樣的。在男性群體中，香港的文藝片的點擊率是高于內地恐怖片的點擊率的。

在企業的指標管理中，假如最終的KPI只有用戶的留存率，去年留存率是53%，今年留存率提高了57%，是不是意味著這個團隊的經營效率變高了？我們細分客群來看，會發現在任何一個客群上留存率都沒有提升，所以單一的指標會帶來錯誤的結論。因為單一的指標非常tricky，比如可以選擇不獲客，也就是放棄新客戶，這種情況下，它的留存率就可以從原本的53%直接提升到60%。

接下來討論幸存者偏差的問題。

比如在春運期間的火車站候車廳，隨機調查有多少人成功的買到了火車票，這個比例是極高的，因為如果沒有買到火車票就不會出現在候車廳。又比如基金大盤，看起來整體的漲幅非常不錯，這是因為漲幅最差的那些基金直接就退市了，我們看到的只是這已經存活下來的部分。賣降落傘的電商店鋪為什么都是好評，因為一般出現事故的客戶已經無法給出差評了。

在工作中，企業經常對用戶做一些訪談，了解用戶可能會有哪些被企業忽略的需求，比如在風控的視角里面，用戶在過去的經營里一直是虧損的狀態，導致風控系統判定他短期內存在風險的可能性極高。

但調研這個用戶發現，他學歷不錯，有車有房，家庭也很穩定，生意模式也非常的明確，所以UER們認為他虧損只是短期內的事情，在未來的一段時間內，他是會成功的。

但放眼大環境，做生意的人千千萬，符合家庭穩定、高學歷、有明確經營思路條件的人也千千萬，但最終能夠成功，卻只有非常少的一部分。

所以我們能看到的那些具備一定特質而且還成功的人，只是因為他們是一個個例，而不是普遍現象。畢竟如果是普遍現象，大家早就見怪不怪懶得提及了。

相關性與因果性

接下來看一個案例，一個人能喝多少和他使用的容器是不是相關的。

有研究員觀測到，學生喝啤酒時使用的容器體積和啤酒的消費量之間有很大的相關性，喝扎啤就會比用杯子時喝得更多。因此得出了一個結論，為了讓學生少喝酒就應該禁止售賣扎啤。

這個建議看起來挺荒謬，一個人的酒量會因為容器大小的改變而改變嗎？今天點扎啤可能僅僅只是因為他今天想喝的更多而已，這個其實是一個典型的把相關性當成了因果性的一個例子。

進一步來看一下什么是因果。

隨著運動時間的增加，膽固醇的水平是下降的，這個結論對不同年齡段的人都是完全成立的，但是如果把年齡這一條線給抽掉，那么最初始的數據分布會得出一個完全不同的結論，即隨著運動時間的拉長，人的膽固醇水平也是越來越高的，為什么會出現這個問題，根本原因還是辛普森悖論。其實大部分情況下，拿到的數據都是右側圖的形式，需要在右邊這個圖中發現像年齡這樣的特征。

類似的還有上圖中下面的科技之船。這張圖里面的紅線代表的是美國的科技支出，黑線代表自殺的人數，會發現這兩條線的走勢幾乎完全一致，相關系數達到了0.99，但這意味著增加科技的支出會導致自殺的人數增加嗎？這兩條線走勢一樣，其實僅僅是一個巧合，并不具備因果關系。

02

無效數據

最后再分享幾個日常分析中可能會碰到的無效數據分析的案例。

例如，企業想要去研究用戶早期行為和后期留存率之間的關系，早期是否產生復購行為，會不會對后期的留存率產生影響。來看數據解讀的兩條結論。

第一條是“首筆期數內沒有復購的用戶，一年后的留存率會低于大盤和復購用戶（左邊圖表中紅色兩行與綠色兩行的對比）。

第二條是”對于分了12期數的用戶，如果他們在分期的期間內沒有復購，那么他一年之后的留存率會很差，接近0%”。

乍一看可能會覺得這兩條結論沒有什么問題，因為數據完全是符合的。但是這里面其實存在著之前提過的幸存者偏差的問題。

這兩句話表達的含非常像，實際就是對比了兩類用戶，第一類用戶是一定時間內和“我”產生了聯系（復購）的用戶，第二類用戶是一定時間內和我沒有建立聯系（沒有復購）的用戶，然后得出的結論是，“第二類用戶和我失去聯系的概率是100%“；潛臺詞就是，流失的用戶最后會流失。這本質上和此前提到的“在火車上調查有沒有買到火車票的例子”有什么區別呢；第二類用戶在一定時間內和我沒有建立聯系，所以失去他的概率當然就是100%了，所以這就是典型的幸存者偏差的案例。

下面來看給出的三個建議。

前兩條建議本質上不存在語句漏洞，但這倆個建議跟要分析的主題沒有任何的關系，這兩句建議放在任何的場景之下都是成立的。

再看第三個建議，“如果用戶第一次分期選的是三期和六期，在結清之前沒有復購，未來的流失概率是非常高的，因此需要在用戶結清賬戶之前讓用戶再次產生一筆新的分期”。我們仔細想想，用戶未來會不會流失，不是因為他當前有沒有流失，這只是不同時間下的相似結果而已；喝的越多是因為喝的是扎啤嗎？結果喝的多只是因為想要喝的多；用戶未來流失是因為當前看起來快要流失了嗎？假設我希望自己未來的收入能夠達到10萬每個月，那我要做的是讓我現在或者接下來幾個月內的收入達到5萬塊錢每個月嗎？

最后分享一下我們在工作中應該怎樣去避免這種無效的數據分析。

首先，要保持challenge意識，當拿到一個數據的時候，先要問問這個數據是基于什么條件統計出來的，它的樣本是不是足夠有代表性，是不是能夠反映整體等等。

第二點是個人看來可能會更實用的。也就是打算“分析“什么的時候都可以先想一下，所有分析一定是為了解決一個問題，那么我的分析結果能能否幫助我解決該問題？

再看之前的案例，我們看到了某些用戶具備非常好的特征，所以希望能夠對這些用戶有所優待。我們應該先來思考兩個問題：具備這樣特征的人到底有多少，如果對這些人去做我想要的操作，那么能夠獲得多少收益，又會有多少風險，收益大于風險的邊界概率是多少？

這就是我們最開始學習期望的計算方式，收益乘以收益發生的概率減去風險乘以風險概率，才是最終能夠獲得的結果。

在最后分享的案例中，我們發現有可能有一個數據和最終希望提升的留存率是強相關的。但我們知道的是，它并不是100%的能夠準確的去準確預測，假設它的預測效果是50%，也就是雖然有50%的可能性能夠預測準，但同樣有50%的可能性是預測不準，預測準的部分一定可以帶來收益，但是預測不準的部分則會帶來額外的經營成本或風險。同樣的，也應該做一個準確的測算，通過這樣的分析結果會對現有的經營策略產生什么樣的變化，額外帶來的收益是多少。只有把數據分析結論能否真正提升業務效果這一點落實，才能警惕幸存者偏差、避免因果混淆等錯誤，讓數據分析的結論更有說服力。

以上就是本次分享的內容，謝謝大家。

▌2023數據智能創新與實踐大會

數據架構/數據效能/智能應用/算法創新……

4大體系，專業解構數據智能

16個主題論壇，覆蓋當下熱點與趨勢

70+演講，兼具創新與最佳實踐

1000+專業觀眾，內行人的技術盛會

點擊下方鏈接了解詳情：

關鍵詞：