處理數(shù)據(jù)缺失的結(jié)構(gòu)化解決辦法

數(shù)據(jù)缺失是數(shù)據(jù)科學(xué)家在處理數(shù)據(jù)時(shí)經(jīng)常遇到的問(wèn)題，本文作者基于不同的情境提供了相應(yīng)的數(shù)據(jù)插補(bǔ)解決辦法。沒(méi)有完美的數(shù)據(jù)插補(bǔ)法，但總有一款更適合當(dāng)下情況。

創(chuàng)新互聯(lián)成立與2013年，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元定西做網(wǎng)站,已為上家服務(wù),為定西各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話(huà):13518219792

我在數(shù)據(jù)清理與探索性分析中遇到的最常見(jiàn)問(wèn)題之一就是處理缺失數(shù)據(jù)。首先我們需要明白的是，沒(méi)有任何方法能夠完美解決這個(gè)問(wèn)題。不同問(wèn)題有不同的數(shù)據(jù)插補(bǔ)方法 ——時(shí)間序列分析，機(jī)器學(xué)習(xí)，回歸模型等等，很難提供通用解決方案。在這篇文章中，我將試著總結(jié)最常用的方法，并尋找一個(gè)結(jié)構(gòu)化的解決方法。
插補(bǔ)數(shù)據(jù) vs 刪除數(shù)據(jù)

在討論數(shù)據(jù)插補(bǔ)方法之前，我們必須了解數(shù)據(jù)丟失的原因。
1 、隨機(jī)丟失（ MAR ， Missing at Random ）：隨機(jī)丟失意味著數(shù)據(jù)丟失的概率與丟失的數(shù)據(jù)本身無(wú)關(guān)，而僅與部分已觀(guān)測(cè)到的數(shù)據(jù)有關(guān)。
2 、完全隨機(jī)丟失（ MCAR ， Missing Completely at Random ）：數(shù)據(jù)丟失的概率與其假設(shè)值以及其他變量值都完全無(wú)關(guān)。
3 、非隨機(jī)丟失（ MNAR ， Missing not at Random ）：有兩種可能的情況。缺失值取決于其假設(shè)值（例如，高收入人群通常不希望在調(diào)查中透露他們的收入）；或者，缺失值取決于其他變量值（假設(shè)女性通常不想透露她們的年齡，則這里年齡變量缺失值受性別變量的影響）。

在前兩種情況下可以根據(jù)其出現(xiàn)情況刪除缺失值的數(shù)據(jù)，而在第三種情況下，刪除包含缺失值的數(shù)據(jù)可能會(huì)導(dǎo)致模型出現(xiàn)偏差。因此我們需要對(duì)刪除數(shù)據(jù)非常謹(jǐn)慎。請(qǐng)注意，插補(bǔ)數(shù)據(jù)并不一定能提供更好的結(jié)果。