1.6 數(shù)據(jù)處理與數(shù)據(jù)清洗

1.6.1 數(shù)據(jù)處理

數(shù)據(jù)處理有廣義和狹義兩種定義。廣義的數(shù)據(jù)處理包括所有的數(shù)據(jù)采集、存儲(chǔ)、加工、分析、挖掘和展示等工作；而狹義的數(shù)據(jù)處理僅僅包括從存儲(chǔ)的數(shù)據(jù)中提取、篩選出有用的數(shù)據(jù)，對(duì)有用的數(shù)據(jù)進(jìn)行加工的過(guò)程是為數(shù)據(jù)分析和挖掘的模型所做的準(zhǔn)備工作。

一般我們講的數(shù)據(jù)處理是狹義的定義，即對(duì)數(shù)據(jù)進(jìn)行增加、刪除、修改、查詢等操作。在目前的大數(shù)據(jù)背景下，數(shù)據(jù)處理工作往往是通過(guò)技術(shù)手段來(lái)實(shí)現(xiàn)的，例如利用數(shù)據(jù)庫(kù)的處理能力對(duì)數(shù)據(jù)進(jìn)行增加、刪除、修改、查詢等處理。

在數(shù)據(jù)處理過(guò)程中最大的工作是對(duì)數(shù)據(jù)進(jìn)行清洗，即將不清潔的數(shù)據(jù)進(jìn)行清潔化，讓數(shù)據(jù)更加規(guī)范，讓數(shù)據(jù)的結(jié)構(gòu)更加合理，讓數(shù)據(jù)的含義更加明確，并且讓數(shù)據(jù)處在數(shù)學(xué)模型的可用狀態(tài)。

1.6.2 數(shù)據(jù)之“臟”

我們把數(shù)據(jù)記錄不規(guī)范、格式錯(cuò)誤、含義不明確等叫作數(shù)據(jù)的“臟”，其包括幾種典型的形式。

（1）數(shù)據(jù)不規(guī)范

數(shù)據(jù)不規(guī)范的情況非常常見(jiàn)。

例如同樣是張三，有的地方記錄為“張三”，有的地方記錄為“張 三”（為了讓兩個(gè)字的姓名和三個(gè)字的姓名具有相同的長(zhǎng)度，中間添加了空格）。這種情況同樣會(huì)發(fā)生在地址字段里，例如“北京”、“北京市”、“北 京”，雖然它們都是指北京，對(duì)我們來(lái)說(shuō)很容易識(shí)別，但對(duì)計(jì)算機(jī)來(lái)說(shuō)，這三種寫法代表著三個(gè)不同的值，我們需要通過(guò)建立映射關(guān)系將數(shù)據(jù)記錄格式統(tǒng)一。

常見(jiàn)的數(shù)據(jù)不規(guī)范的情況還經(jīng)常發(fā)生在日期格式中。日期格式常見(jiàn)的幾種記錄方法有：

· 2015/10/20

· 2015-10-20

· 2015年10月20日

· 10/20/2015

· Oct.20,2015

· October 20,2015

· 2015.10.20

每個(gè)人都有不同的喜好和記錄數(shù)據(jù)的方式，這給計(jì)算機(jī)識(shí)別造成了很大的困難，一個(gè)公司應(yīng)該有一個(gè)明確的規(guī)定，要統(tǒng)一數(shù)據(jù)的錄入格式。

（2）數(shù)據(jù)不一致

數(shù)據(jù)不一致的情況往往是由于沒(méi)有遵循單維數(shù)據(jù)表的原則導(dǎo)致的。例如同一條信息在不同的數(shù)據(jù)表甚至數(shù)據(jù)庫(kù)中都有記錄，當(dāng)對(duì)此條信息進(jìn)行更改后，因?yàn)闆](méi)有同時(shí)對(duì)所有的數(shù)據(jù)表都做相同的更改，從而會(huì)發(fā)生數(shù)據(jù)不一致的情況。為了避免這種情況，我們引入了“單維數(shù)據(jù)表”的概念，其強(qiáng)調(diào)公司內(nèi)部的同一條信息只能記錄在一個(gè)地方，當(dāng)其他地方需要的時(shí)候，可以使用索引查詢的方式，從而保證數(shù)據(jù)的一致性，在任何數(shù)據(jù)表中的存在其他表中數(shù)據(jù)來(lái)源時(shí)，都要在查詢輸出時(shí)進(jìn)行“同步”更新。

數(shù)據(jù)的一致性雖然在技術(shù)上比較容易實(shí)現(xiàn)，但是要在企業(yè)經(jīng)營(yíng)實(shí)踐中實(shí)現(xiàn)卻有著巨大的難度。采購(gòu)部門會(huì)錄入供應(yīng)商的信息，財(cái)務(wù)部門需要向供應(yīng)商付款，所以也會(huì)保留供應(yīng)商的相關(guān)信息。而采購(gòu)部門和財(cái)務(wù)部門分屬不同的職能部門，財(cái)務(wù)部門會(huì)采集一部分供應(yīng)商的財(cái)務(wù)信息，包括銀行信息、賬號(hào)信息、稅務(wù)信息、工商信息等，如果這些數(shù)據(jù)發(fā)生變化，例如法人變更、業(yè)務(wù)變更、企業(yè)性質(zhì)變更等，財(cái)務(wù)部門會(huì)對(duì)這些數(shù)據(jù)進(jìn)行更新。采購(gòu)部門也會(huì)對(duì)供應(yīng)商的信息進(jìn)行采集并登記到相關(guān)的信息管理系統(tǒng)中。如果采購(gòu)部門的信息管理系統(tǒng)能夠同財(cái)務(wù)部門所使用的信息管理系統(tǒng)對(duì)接并且能夠把同條信息關(guān)聯(lián)或者建立索引關(guān)系，則該公司的數(shù)據(jù)一致性比較容易實(shí)現(xiàn)。但是如果這兩個(gè)部門都采用了不同的信息管理系統(tǒng)，則很容易產(chǎn)生數(shù)據(jù)不一致的情況。而這種情況在大多數(shù)公司中都存在并且很嚴(yán)重。

（3）標(biāo)準(zhǔn)不統(tǒng)一

我們需要對(duì)一些事物的描述方法建立統(tǒng)一的標(biāo)準(zhǔn)，從而讓計(jì)算機(jī)可以有效地處理文本數(shù)據(jù)。

例如在描述導(dǎo)致產(chǎn)品出現(xiàn)質(zhì)量問(wèn)題的原因時(shí)，在大多數(shù)情況下是手工錄入的，同樣的原因，錄入的描述會(huì)有不同。例如同樣是描述因?yàn)殡妷翰环€(wěn)導(dǎo)致的產(chǎn)品質(zhì)量問(wèn)題，有的人會(huì)錄入為“電壓不穩(wěn)”，有的人會(huì)錄入為“電流不穩(wěn)定”，還有的人會(huì)錄入為“供電問(wèn)題”……如果沒(méi)有統(tǒng)一的規(guī)范，則在統(tǒng)計(jì)匯總數(shù)據(jù)時(shí)會(huì)產(chǎn)生上千個(gè)導(dǎo)致產(chǎn)品品質(zhì)問(wèn)題的原因。這給數(shù)據(jù)解讀和分析以及尋找改善措施帶來(lái)了很大的麻煩。

這就需要數(shù)據(jù)庫(kù)管理員根據(jù)公司的實(shí)際情況，將該類原因進(jìn)行歸類，然后設(shè)定幾個(gè)類別，讓員工在系統(tǒng)中進(jìn)行選擇，而不是讓他們手工錄入。一般情況下，出現(xiàn)最多的前10個(gè)原因能夠覆蓋90%以上的情況，在錄入時(shí)要先讓員工選擇，然后留出一個(gè)“其他”選項(xiàng)，當(dāng)員工選擇“其他”選項(xiàng)后才能手工錄入，這樣就有效解決數(shù)據(jù)的錄入標(biāo)準(zhǔn)化問(wèn)題。

（4）格式不標(biāo)準(zhǔn)

所謂的格式不標(biāo)準(zhǔn)是指在錄入數(shù)據(jù)時(shí)使用了錯(cuò)誤的格式。例如在錄入日期時(shí)，因?yàn)楦袷讲灰?guī)范，計(jì)算機(jī)不能自動(dòng)識(shí)別為日期格式。

這種問(wèn)題比較容易處理，可以在信息系統(tǒng)中設(shè)定相關(guān)的數(shù)據(jù)校驗(yàn)，如果錄入的數(shù)據(jù)格式不正確，則系統(tǒng)會(huì)彈出數(shù)據(jù)錄入格式錯(cuò)誤的警告。

（5）附加字段

我們?cè)谇逑磾?shù)據(jù)的時(shí)候，往往需要添加新的字段以便數(shù)學(xué)模型可以直接處理數(shù)據(jù)。例如數(shù)據(jù)庫(kù)中可能沒(méi)有直接的字段來(lái)記錄員工的司齡，這就需要在添加司齡字段之后，通過(guò)入職日期來(lái)計(jì)算；而員工的年齡則通過(guò)出生日期來(lái)計(jì)算。

1.6.3 數(shù)據(jù)雜質(zhì)和噪聲

在外部大數(shù)據(jù)中，因?yàn)閿?shù)據(jù)價(jià)值密度較低，所以數(shù)據(jù)中的雜質(zhì)和噪聲很多，需要大量的數(shù)據(jù)處理工作才能將有價(jià)值的數(shù)據(jù)和信息提煉出來(lái)；而企業(yè)經(jīng)營(yíng)數(shù)據(jù)，特別是內(nèi)部采集的數(shù)據(jù)，價(jià)值密度高，幾乎所有的數(shù)據(jù)和信息都是有價(jià)值的，因此雜質(zhì)和噪聲也會(huì)少很多。

1.數(shù)據(jù)雜質(zhì)

所謂的數(shù)據(jù)雜質(zhì)就是在數(shù)據(jù)集中出現(xiàn)了與數(shù)據(jù)記錄本身無(wú)關(guān)的數(shù)據(jù)，就如同大米中出現(xiàn)了沙子，需要在處理數(shù)據(jù)的過(guò)程中將這部分?jǐn)?shù)據(jù)剔除。

例如錄音或者錄像數(shù)據(jù)，其本質(zhì)上是為了記錄企業(yè)的經(jīng)營(yíng)或者管理活動(dòng)，但是在錄制的過(guò)程中可能因?yàn)闆](méi)有活動(dòng)發(fā)生，這部分?jǐn)?shù)據(jù)就會(huì)成為雜質(zhì)。例如企業(yè)生產(chǎn)線上的監(jiān)控錄像，當(dāng)企業(yè)沒(méi)有生產(chǎn)時(shí)其仍然在錄像，那么這一部分時(shí)段的錄像就可以從整體數(shù)據(jù)中剔除。而行車記錄儀在檢測(cè)到汽車已經(jīng)超過(guò)10秒鐘不動(dòng)時(shí)，就暫停錄像，當(dāng)畫面有變化時(shí)，則及時(shí)啟動(dòng)錄像過(guò)程，這是一種比較智能的數(shù)據(jù)采集和記錄方式。

另外一種雜質(zhì)是在數(shù)據(jù)采集或者記錄過(guò)程中產(chǎn)生的。例如問(wèn)卷調(diào)查，在正式進(jìn)行調(diào)查之前，編制問(wèn)卷的人首先要做幾遍測(cè)試，還會(huì)找其他人進(jìn)行測(cè)試，以保證正式發(fā)布調(diào)研結(jié)果之后無(wú)差錯(cuò)，而這部分測(cè)試數(shù)據(jù)也會(huì)被調(diào)研系統(tǒng)的后臺(tái)所記錄，這些數(shù)據(jù)也被稱作雜質(zhì)，在處理調(diào)研數(shù)據(jù)集的時(shí)候需要剔除。在調(diào)研的過(guò)程中，有的人打開(kāi)了調(diào)研鏈接，但做到一半就因?yàn)槠渌虑榈R了，稍后又重新開(kāi)始做該調(diào)研，而前面這部分未完成的問(wèn)卷就是雜質(zhì)，可以從數(shù)據(jù)集中剔除。

數(shù)據(jù)的雜質(zhì)其實(shí)有很多種，使用不同的數(shù)據(jù)采集方式，就會(huì)產(chǎn)生不同類型的數(shù)據(jù)雜質(zhì)，數(shù)據(jù)分析人員需要根據(jù)實(shí)際情況進(jìn)行甄別。

2.數(shù)據(jù)噪聲

所謂的數(shù)據(jù)噪聲，就是看似是有用的數(shù)據(jù)，但仔細(xì)查看后該數(shù)據(jù)并非該數(shù)據(jù)集中該有的數(shù)據(jù)，或者仔細(xì)分析后沒(méi)有價(jià)值的數(shù)據(jù)，當(dāng)然也有一部分是我們無(wú)法解釋的與其他數(shù)據(jù)有差異的數(shù)據(jù)。與雜質(zhì)數(shù)據(jù)不同，噪音數(shù)據(jù)看似是相關(guān)的數(shù)據(jù)，其實(shí)價(jià)值不大或者根本沒(méi)有價(jià)值。

現(xiàn)在的電商是靠流量和銷量說(shuō)話的，特別是在天貓和淘寶中，買家更加關(guān)心賣家的信用。賣家為了獲得更多的流量和銷量，往往采取“刷”信用的方式來(lái)提高店鋪的等級(jí)。對(duì)電商來(lái)說(shuō)，這些“刷”來(lái)的交易數(shù)據(jù)，都可以看作噪聲數(shù)據(jù)。

例如一個(gè)訂單數(shù)據(jù)集，在這個(gè)數(shù)據(jù)集中有一部分?jǐn)?shù)據(jù)是內(nèi)部測(cè)試形成的，也有一部分?jǐn)?shù)據(jù)是競(jìng)爭(zhēng)對(duì)手測(cè)試形成的，還有一部分?jǐn)?shù)據(jù)可能是消費(fèi)者測(cè)試網(wǎng)站形成的，這些數(shù)據(jù)就可以看作噪聲數(shù)據(jù)，并非真正的交易數(shù)據(jù)。

1.6.4 數(shù)據(jù)清洗

所謂的數(shù)據(jù)清洗，就是對(duì)原始數(shù)據(jù)進(jìn)行規(guī)范化的處理，減少數(shù)據(jù)噪音，消除數(shù)據(jù)的不一致性，并對(duì)某些數(shù)據(jù)進(jìn)行加工，以便數(shù)據(jù)處理軟件和數(shù)據(jù)模型能夠直接使用。數(shù)據(jù)清洗是數(shù)據(jù)處理的工序之一，目的是提高數(shù)據(jù)的質(zhì)量，為數(shù)據(jù)分析準(zhǔn)備有效的數(shù)據(jù)集。

數(shù)據(jù)清洗的方法有很多，主要與我們所使用的數(shù)據(jù)處理工具有關(guān)。例如使用Excel可以對(duì)數(shù)據(jù)進(jìn)行查找替換、填充、分列、映射、透視等。如果數(shù)據(jù)的規(guī)律性很強(qiáng)，數(shù)據(jù)量很大，那么還可以采用VBA編程的方式來(lái)實(shí)現(xiàn)。

在實(shí)踐中，數(shù)據(jù)清洗是占用數(shù)據(jù)分析師時(shí)間最長(zhǎng)的工作，雖然此項(xiàng)工作的價(jià)值產(chǎn)出很低，同時(shí)耗費(fèi)了大量的時(shí)間，但是這個(gè)工作必不可少。如果我們?cè)跀?shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)傳輸?shù)倪^(guò)程中，提高數(shù)據(jù)的質(zhì)量，保證數(shù)據(jù)的有效性，那么我們的數(shù)據(jù)清洗工作可以大幅度減少。而在這個(gè)過(guò)程中，數(shù)據(jù)采集的方式、方法，以及自動(dòng)化智能設(shè)備的使用是大幅度提高數(shù)據(jù)質(zhì)量的關(guān)鍵手段。

要想在數(shù)據(jù)清洗環(huán)節(jié)上節(jié)省人力資源，那么就需要在數(shù)據(jù)系統(tǒng)中加入數(shù)據(jù)的校驗(yàn)，并制定相關(guān)的數(shù)據(jù)規(guī)范，讓數(shù)據(jù)在錄入時(shí)就是規(guī)范的、高質(zhì)量的。即使是一些用戶端口的數(shù)據(jù)，在錄入的時(shí)候也要加入校驗(yàn)工作，通過(guò)示例的方式提醒用戶按照一定的規(guī)則來(lái)錄入數(shù)據(jù)。

我們經(jīng)常見(jiàn)到一些網(wǎng)站在讓用戶錄入姓名時(shí)，要求用戶分別錄入姓氏和名字，但是如果不進(jìn)行校驗(yàn)或者提示用戶，則用戶很可能會(huì)將姓氏錄入到名字中，將名字錄入到姓氏中，導(dǎo)致未來(lái)的數(shù)據(jù)分析存在問(wèn)題。比如用戶錄入歐陽(yáng)峰，如果“峰”字被錄入到姓氏中，那么系統(tǒng)需要通過(guò)后臺(tái)字典提示用戶——“您確信您姓峰？”這種提示雖然降低了用戶體驗(yàn)，但對(duì)數(shù)據(jù)的準(zhǔn)確性來(lái)說(shuō)還是非常有益的。

1.5.5 如何提高數(shù)據(jù)的清洗速度

一般數(shù)據(jù)清洗工作占數(shù)據(jù)分析師工作量的70%以上，而且數(shù)據(jù)質(zhì)量越差，這個(gè)比例越高。

其實(shí)提高數(shù)據(jù)清洗速度最有效的方法就是規(guī)范數(shù)據(jù)采集和數(shù)據(jù)記錄，從源頭把控?cái)?shù)據(jù)質(zhì)量。如果源頭數(shù)據(jù)的質(zhì)量就不高，則數(shù)據(jù)清洗工作不僅會(huì)洗掉臟的數(shù)據(jù)，甚至還會(huì)洗掉某些有價(jià)值的數(shù)據(jù)，導(dǎo)致數(shù)據(jù)信息量的損失。

程序化方法是提高數(shù)據(jù)清洗工作效率的有效手段。我們面對(duì)的數(shù)據(jù)集往往比較大，如果手工一個(gè)個(gè)檢查并清洗，則需要耗費(fèi)大量的人工時(shí)間。如果能夠?qū)Σ灰?guī)范、不完整或者不相關(guān)的數(shù)據(jù)進(jìn)行較好的分析，總結(jié)它們中可能存在的規(guī)律性，然后用軟件程序自動(dòng)化完成數(shù)據(jù)的清洗工作，那么可以大幅度提升數(shù)據(jù)清洗的效率。尋找數(shù)據(jù)的規(guī)律性是用程序代替人工清洗的基礎(chǔ)。

即使是使用Excel進(jìn)行數(shù)據(jù)清洗，使用透視表+映射表的方式會(huì)比使用手工查找+替換的方式快很多。有的公司已經(jīng)將一些常見(jiàn)的數(shù)據(jù)清洗方法編制成軟件，但效果還是不理想，雖然這種數(shù)據(jù)清洗軟件能夠大幅度節(jié)省人工投入成本，但一般都非常昂貴，一套軟件一般在上百萬(wàn)元，并且軟件雖然能夠快速處理數(shù)據(jù)，但仍然需要大量的人工干預(yù)。

數(shù)據(jù)清洗工作另外一個(gè)非常重要的原則就是：永遠(yuǎn)給自己留下反悔的余地。

清洗數(shù)據(jù)時(shí)盡量不要破壞原始數(shù)據(jù)。不能在原始數(shù)據(jù)集上直接修改數(shù)據(jù)，如果修改了某些有價(jià)值的數(shù)據(jù)，那么可能很難再找回來(lái)；如果發(fā)生了錯(cuò)誤，那么可能是災(zāi)難性的。所以要先備份數(shù)據(jù)后再清洗。例如如果想要規(guī)范日期格式，那么要在Excel中添加一列，讓之前的日期數(shù)據(jù)保留著，如果看著不舒服，則可以采取隱藏的方式，但是直接將其刪除或者替換都是不可以的。

這里特別要強(qiáng)調(diào)的是，在對(duì)數(shù)據(jù)進(jìn)行清洗時(shí)，禁止使用“查找+替換”的方式，因?yàn)檫@種方式改變了原始數(shù)據(jù)，如果發(fā)生錯(cuò)誤，而Excel的撤銷功能又不能啟用，那么麻煩就大了，即使保留了原始數(shù)據(jù)副本，可能之前的數(shù)據(jù)清洗工作也會(huì)白做了。當(dāng)數(shù)據(jù)量非常大的時(shí)候，在做任何有可能讓數(shù)據(jù)集發(fā)生改變的操作之前都要做好數(shù)據(jù)備份工作。

在利用Excel進(jìn)行數(shù)據(jù)清洗時(shí)，可以將同一個(gè)字段的數(shù)據(jù)制作一個(gè)映射表，然后讓Excel根據(jù)映射表對(duì)數(shù)據(jù)進(jìn)行查找和替換，這里常用到的功能是VLOOKUP函數(shù)。例如地址字段中城市的名稱，如果用戶在錄入數(shù)據(jù)時(shí)不是通過(guò)下拉列表選擇的，那么他們填寫的信息肯定五花八門，雖然人工能夠識(shí)別，但機(jī)器不能識(shí)別。所以可以通過(guò)透視表功能將所有的城市進(jìn)行統(tǒng)計(jì)匯總，然后人工識(shí)別后建立映射表，再把原始的地址映射回去，從而將地址字段中的城市名稱標(biāo)準(zhǔn)化為一個(gè)唯一值，之后再對(duì)數(shù)據(jù)以城市為單位進(jìn)行統(tǒng)計(jì)匯總時(shí)，數(shù)據(jù)才會(huì)準(zhǔn)確（見(jiàn)下圖）。

也可以利用第三方工具進(jìn)行數(shù)據(jù)清洗。大多數(shù)第三方數(shù)據(jù)清洗工具都是先構(gòu)建一個(gè)映射表，根據(jù)數(shù)據(jù)的特點(diǎn)進(jìn)行猜測(cè)、精準(zhǔn)匹配并用后臺(tái)的“字典”來(lái)映射數(shù)據(jù)，然后將規(guī)范化的數(shù)據(jù)輸出。第三方工具在適用性上往往都存在一定的缺陷或者適用于不同的數(shù)據(jù)集，有的適合客戶數(shù)據(jù)的清洗，有的適合產(chǎn)品訂單數(shù)據(jù)的清洗，而有的適合社交媒體網(wǎng)站數(shù)據(jù)的清洗。在選擇第三方數(shù)據(jù)清洗工具時(shí)要進(jìn)行評(píng)比，用一個(gè)比較小的數(shù)據(jù)集進(jìn)行測(cè)試之后再購(gòu)買。這類第三方工具一般都比較昂貴，動(dòng)輒幾十萬(wàn)元或者上百萬(wàn)元，所以要慎重選擇，并且最好購(gòu)買對(duì)方的服務(wù)。當(dāng)數(shù)據(jù)清洗效果不佳的時(shí)候，要讓對(duì)方的技術(shù)人員參與，制定更加符合自己的數(shù)據(jù)集的“字典”。目前國(guó)際上比較先進(jìn)的第三方數(shù)據(jù)清洗工具對(duì)國(guó)內(nèi)的企業(yè)來(lái)說(shuō)都不太好用，這主要是由中文的詞語(yǔ)結(jié)構(gòu)等問(wèn)題導(dǎo)致的，大多數(shù)的數(shù)據(jù)清洗工具都是針對(duì)文本類和數(shù)字類數(shù)據(jù)的，中文的語(yǔ)種結(jié)構(gòu)與西方的各種語(yǔ)種結(jié)構(gòu)有著較大的差別，所以在數(shù)據(jù)清洗上有一定的局限性。購(gòu)買軟件公司的服務(wù)可以優(yōu)化數(shù)據(jù)清洗質(zhì)量，如果企業(yè)的數(shù)據(jù)量級(jí)達(dá)不到TB級(jí)別，則購(gòu)買這些服務(wù)就要看值不值得了。

---

[1] 1969年美國(guó)國(guó)防部高級(jí)研究計(jì)劃署（ARPA）建立ARPANet被公認(rèn)為是標(biāo)志著互聯(lián)網(wǎng)的誕生。

[2] MECE原則是分類的基本原則之一，Mutually Exclusive Collectively Exhaustive，即是“相互獨(dú)立，完全窮盡”。它是麥肯錫的第一個(gè)女咨詢顧問(wèn)巴巴拉·明托（Barbara Minto）在《金字塔原理（The Minto Pyramid Principle）》中提出的一個(gè)很重要的分類原則。