1.2.1 優(yōu)質(zhì)可用數(shù)據(jù)少

隨著大數(shù)據(jù)行業(yè)的興起，數(shù)據(jù)價(jià)值得到了充分的肯定，“數(shù)據(jù)變現(xiàn)”也成為許多擁有大量數(shù)據(jù)資源的企業(yè)的新產(chǎn)業(yè)，比較成功的“數(shù)據(jù)變現(xiàn)”商業(yè)模式有利用數(shù)據(jù)支撐生活服務(wù)（如健康、教育等），也有利用數(shù)據(jù)分析指導(dǎo)營銷策略的方式。許多企業(yè)看到了數(shù)據(jù)的價(jià)值，就積攢了許多數(shù)據(jù)在手里，但是企業(yè)搜集的數(shù)據(jù)是否真的優(yōu)質(zhì)、是否能夠發(fā)揮作用，并沒有得到驗(yàn)證。

大數(shù)據(jù)產(chǎn)業(yè)的核心價(jià)值在于做出趨勢預(yù)測，以網(wǎng)絡(luò)營銷為例（這也是大數(shù)據(jù)行業(yè)獲得最多應(yīng)用的領(lǐng)域之一），數(shù)據(jù)驅(qū)動(dòng)帶來了更精準(zhǔn)的效果，這需要建立在優(yōu)質(zhì)數(shù)據(jù)的基礎(chǔ)上。但是由于數(shù)據(jù)采集過程不完善，企業(yè)獲得的數(shù)據(jù)往往是不夠優(yōu)質(zhì)的，這樣就帶來了數(shù)據(jù)清洗的問題。每次在進(jìn)行數(shù)據(jù)分析之前，數(shù)據(jù)科學(xué)家都要花費(fèi)大量的時(shí)間在數(shù)據(jù)清洗上，既造成了人力資源的浪費(fèi)，又使得最后可用的數(shù)據(jù)不夠多。

要想充分理解大數(shù)據(jù)產(chǎn)業(yè)在數(shù)據(jù)質(zhì)量上的窘境，就要先介紹一下數(shù)據(jù)的質(zhì)量評定有些什么樣的標(biāo)準(zhǔn)，優(yōu)質(zhì)數(shù)據(jù)又有著什么樣的特征。數(shù)據(jù)質(zhì)量指數(shù)據(jù)能夠反映實(shí)際情況的程度高低，一般通過以下五個(gè)方面進(jìn)行衡量和評價(jià)，如圖1-4所示。

1．準(zhǔn)確性

準(zhǔn)確性是指數(shù)據(jù)在系統(tǒng)中的值與真實(shí)值相比的符合情況，常見的數(shù)據(jù)準(zhǔn)確性問題有數(shù)據(jù)的值與實(shí)際值不同（數(shù)據(jù)來源出現(xiàn)問題）、與業(yè)務(wù)規(guī)范出現(xiàn)沖突（行業(yè)規(guī)范不完善或執(zhí)行不力導(dǎo)致）等問題。當(dāng)數(shù)據(jù)的準(zhǔn)確性出現(xiàn)問題時(shí)，數(shù)據(jù)最基本的要求就已經(jīng)達(dá)不到了，自然是劣質(zhì)的數(shù)據(jù)。

2．完整性

數(shù)據(jù)的完整性是指數(shù)據(jù)的完備程度，是否囊括了所需的所有方面的數(shù)據(jù)信息。常見數(shù)據(jù)完整性問題包括系統(tǒng)未設(shè)定提取字段導(dǎo)致的相關(guān)數(shù)據(jù)的缺失和采集過程不全面導(dǎo)致的數(shù)據(jù)不完整等問題。當(dāng)發(fā)生了數(shù)據(jù)完整性問題時(shí)，數(shù)據(jù)對實(shí)際情況的描述就不夠全面，那么根據(jù)這些數(shù)據(jù)建立的數(shù)據(jù)模型就容易發(fā)生以偏概全的問題。

3．一致性

一致性是指大數(shù)據(jù)軟件系統(tǒng)內(nèi)外部數(shù)據(jù)源之間的數(shù)據(jù)一致程度問題，包括數(shù)據(jù)形式是否一致、數(shù)據(jù)格式是否統(tǒng)一等。數(shù)據(jù)一致性在數(shù)據(jù)聯(lián)動(dòng)的過程中非常重要，如果系統(tǒng)間應(yīng)該相同的數(shù)據(jù)卻不一致，就容易造成系統(tǒng)的報(bào)錯(cuò)和停止運(yùn)行。

由于大數(shù)據(jù)數(shù)量龐大，且數(shù)據(jù)間的聯(lián)動(dòng)是大數(shù)據(jù)產(chǎn)業(yè)中常見的互動(dòng)，數(shù)據(jù)的一致性具有非常重要的作用。但因?yàn)榇髷?shù)據(jù)產(chǎn)業(yè)尚且缺乏統(tǒng)一的數(shù)據(jù)規(guī)范，不同企業(yè)間對數(shù)據(jù)的具體要求都不同，這給大數(shù)據(jù)產(chǎn)業(yè)帶來了相當(dāng)大的處理困境。

4．及時(shí)性

及時(shí)性是指數(shù)據(jù)在采集、傳送、處理等環(huán)節(jié)對應(yīng)用的快速支持能力的描述，考察的是數(shù)據(jù)的時(shí)間性能。優(yōu)質(zhì)的數(shù)據(jù)能夠?qū)崿F(xiàn)在規(guī)定時(shí)間內(nèi)完成系統(tǒng)所需數(shù)據(jù)的更新要求，而質(zhì)量不夠高的數(shù)據(jù)不能滿足這一點(diǎn)，會(huì)給數(shù)據(jù)的后續(xù)處理帶來不良影響。

5．可用性

可用性是用來衡量數(shù)據(jù)項(xiàng)整合和應(yīng)用的可用程度的指標(biāo)，常見可用性問題包括數(shù)據(jù)缺乏可應(yīng)用功能（數(shù)據(jù)不具備可加工性，不能建立數(shù)據(jù)模型）、缺乏可整合性（數(shù)據(jù)過于分散，沒有內(nèi)在聯(lián)系）等。不具有可用性的數(shù)據(jù)對企業(yè)來說不僅沒有好處，反而會(huì)因?yàn)榻档蛿?shù)據(jù)的價(jià)值密度，給企業(yè)帶來損失，因此可用性是衡量數(shù)據(jù)質(zhì)量的重要因素。

在現(xiàn)在的大數(shù)據(jù)行業(yè)中，由于缺乏統(tǒng)一的大數(shù)據(jù)規(guī)范，數(shù)據(jù)的量雖然多，但是數(shù)據(jù)的質(zhì)量卻不高，僅僅收集了數(shù)據(jù)，并不意味著就能夠得到戰(zhàn)略上的應(yīng)用指導(dǎo)。數(shù)據(jù)的質(zhì)量直接影響了大數(shù)據(jù)預(yù)測結(jié)果的可靠性，優(yōu)質(zhì)數(shù)據(jù)的獲取對大數(shù)據(jù)的發(fā)展至關(guān)重要。許多具有前瞻性的企業(yè)已經(jīng)意識到了這一點(diǎn)，開始積極地進(jìn)行大數(shù)據(jù)質(zhì)量管理工作。但由于大數(shù)據(jù)已經(jīng)深入到了各個(gè)行業(yè)，要想統(tǒng)一數(shù)量管理標(biāo)準(zhǔn)并非易事，所以大數(shù)據(jù)的優(yōu)化還有很長的路要走。

大數(shù)據(jù)時(shí)代帶來了海量多樣的數(shù)據(jù)，使對市場進(jìn)行廣泛且深入的分析成為可能，但這必須有優(yōu)質(zhì)數(shù)據(jù)作為支撐。優(yōu)質(zhì)的數(shù)據(jù)可以為大數(shù)據(jù)應(yīng)用提供更高的上限，而低質(zhì)量的數(shù)據(jù)則必然拉低數(shù)據(jù)產(chǎn)業(yè)的下限，由此可見，數(shù)據(jù)質(zhì)量是大數(shù)據(jù)行業(yè)的重要標(biāo)桿。而尷尬的是，由于大數(shù)據(jù)產(chǎn)業(yè)的興起過快，業(yè)內(nèi)并沒有統(tǒng)一規(guī)范的數(shù)據(jù)衡量標(biāo)準(zhǔn)，因此造成了優(yōu)質(zhì)可用數(shù)據(jù)少的現(xiàn)狀，為大數(shù)據(jù)產(chǎn)業(yè)帶來了困境。