1.1 什么是數據？什么是數據技術

現在人人都在談大數據，也在談數據化管理，很多人把這兩個概念混淆在一起，每個人對“大數據”和“數據化管理”的理解都不同。本書所說的企業中的大數據與現在大家都在談的外部的“大數據”還是有區別的。外部的大數據包括互聯網企業、電信企業以及各種富數據行業所公布的數據等，這些構成了企業外部環境的大數據；而本書所說的企業中的大數據則是企業經營和管理所需要的資源以及記錄資源活動的數據。為了區分這兩者，本書把企業記錄經營管理活動所形成的數據稱作“企業大數據”，以此來區別于人們常說的外部的“大數據”。

1.1.1 什么是數據

什么是數據？每個人對數據的定義都是不同的。筆者曾經在一個公開課上提過一個問題：什么是數據？你是如何理解數據的？筆者發現300個人中至少有30種不同的理解。有人說數據就是數字；有人說數據就是信息；有人說數據就是財務數據；有人說數據就是報表；有人說數據就是類似GDP和CPI那樣的數字指標；有人說數據就是互聯網上大家購物所形成的交易數據；有人說數據就是社交信息；有人說數據就是微博中大家的看法和觀點……他們說的都對，因為這些都是數據，但這樣的定義都不是完整的。為了統一，在開始講解數據分析方法之前，我們需要對數據做出一個明確的定義，以便讓大家在閱讀本書時有一個共同的認知基礎。

從字面意義上理解，“數據”由“數”和“據”組成。“數”指的是數值、數字、數字化的信息，或者以數值的形式存儲的信息；而“據”則指的是“證據”或者“依據”。簡單地從字面意義上來理解“數據”的定義就是：數字化的證據和依據，是事物存在和發展狀態或者過程的數字化記錄，是事物發生和發展留存下來的證據。如果說我們拿到了一份數據，這就意味著我們不僅僅拿到數值，還要理解這個數據。如果無法解讀所獲得數據的含義，那么只能稱之為“數”，而不是“數據”。

例如，175cm 是數值，而不是數據（見下圖）。而如果說“小明的身高是175cm”，那么175cm就是數據。但是這個說法還是有所欠缺的，因為人的身高是不斷變化的，為了精確時間，我們需要將以上例子表述為：“小明在某年某月某日某時的身高是175cm”，或者說“小明在其18歲生日時測量的身高是175cm”。因為既然是證據，那么就要有事物狀態的“時間戳”，沒有時間戳，這個數據就會變得沒有“證據”性。

從嚴格的定義角度講，“數據是我們對客觀事物及其發生、發展的數字化的記錄”。通過這個記錄，我們可以還原事物在該數據記錄時的狀態和發生的活動，因此我們能夠通過數據去追溯當時的情景。

數據所能夠記錄的信息越全面，我們對過去發生的狀況就會越清楚。文字的記錄有其局限性，圖片和聲音的記錄讓事物在某時的狀態所留存的信息量更多，能夠為我們研究事物發生和發展規律提供更多的“證據”。因此，人們力圖用更復雜的方法或者方式去記錄數據，以留存更多的信息。就像我們發明了錄音機、照相機和錄像機，從而能夠記錄更多的信息。

如今，我們能夠記錄的信息越來越多，不僅僅是數值、文字、聲音、圖片和影像，未來記錄信息的方式還會有更多的創新以及更多的變化（見下圖）。當然，在這個過程中形成全球標準是需要時間的。例如，對于聲音，我們有MP3等各種編碼方式；對于圖片，我們有BMP、JPG、GIF等各種編碼方式；對于視頻，我們有AVI、MP4、FLV等多種標準化的編碼方式。在Web 1.0時代，我們常說“無圖無真相”，而現在我們更加相信當時的“錄像”，如今照相和攝像功能成了智能手機的標配，更多的視頻網站發展起來，我們的活動被各種方式記錄下來了。

隨著科學技術的發展，數據概念的內涵也會不斷發展，并繼續演變。例如，當全息影像發展起來之后，人們的每個數據都會像“紀錄片”一樣被記錄下來，數據的概念會進一步得到延展。本書中所使用的數據這個詞的含義，就目前來講，是一個相對比較廣泛的含義，包括了數值、文字、聲音、圖像、視頻等，只要是用數據化的方式記錄下來的事物的發生和發展狀態我們都叫作數據，不管其載體為何。

1.1.2 數據的依據性質比證據性質更重要

在遠古時代沒有文字記載，我們只能靠代代相傳的故事和詩歌來推測歷史；或者通過化石來研究過去到底存在什么和發生了什么。當有了文字記載之后，就有了更多的證據去推測和研究歷史，從而對歷史就了解得更加清楚了。

當有了歷史數據后，科學家、歷史學家就可以利用這些數據來研究歷史，總結事物發生和發展的規律，用來指導我們的社會實踐，這是人類科學進步的基本動力源泉。企業留存數據也是一樣的道理，企業要把歷史數據積累沉淀，然后不斷分析和總結企業的發展軌跡和路徑，研究過去的得失，不再重復同樣的錯誤，固化最優秀的做法；通過對發展規律的探索，可以指導企業的經營和管理決策，讓企業的經營決策更加符合市場的需求。

企業留存和積累的數據越多就越有價值。這些數據一方面可以當作證據，另一方面也可以用來研究規律，成為企業預測未來市場、形成商業洞察的依據。這里的證據和依據的含義差不多，證據強調的是過去，依據強調的是未來。很多企業在經營和管理過程中記錄了大量的數據，而這些數據僅僅被企業用來當作一種證據，包括同客戶簽署的合同、財務記錄的交易流水單、員工的上下班打卡記錄等。證據只有在產生糾紛和產生疑問的時候才有價值。而依據則不同，如果企業能夠充分利用數據、分析數據、挖掘數據背后的規律，找尋事物之間發生和發展的邏輯關系并能夠指導企業未來的經營和管理活動，那么這些數據就成了依據。數據的“依據”價值遠遠大于“證據”的價值。

1.1.3 四大類技術推動數據技術（DT）時代發展

四大類技術的相互作用帶我們進入了大數據時代。這四種技術包括：數據采集技術、數據存儲技術、數據傳輸技術以及數據處理和數據挖掘技術。

（1）數據采集技術

數據采集是指采集在事物發生和發展的過程中留存的數據。在過去20年中，數據采集技術獲得了快速的發展，而更加重要的是，智能化、自動化的數據采集設備逐步普及。現在的數據采集終端越來越智能化和平民化，普及率也越來越高，一部普通的智能手機里就有將近20個智能數據采集元件。

（2）數據存儲技術

20年前，我們最常使用的數據存儲設備是磁帶機、軟盤等，一臺計算機能夠存儲幾十MB的內容就算是非常先進的了。而現在，一個普通的容量為1TB的計算機硬盤，價格還不足500元人民幣；一部普通的有著十多個智能采集終端的低端智能手機，在20年前看來都是具有“海量數據”的存儲能力。按照數據存儲界的“新摩爾定律”，每隔18個月，人類存儲的信息量就會翻一番，而數據存儲設備的價格會降低50%。

（3）數據傳輸技術

互聯網[1]誕生還不足50年，卻徹底改變了人類的生活方式以及企業的運作模式，并促生了很多超級企業。互聯網和移動互聯網的快速發展讓帶寬不斷增加、成本不斷下降、網絡不斷發達。

（4）數據處理和數據挖掘技術

隨著數據量的不斷增長，數據處理技術和數據分析與挖掘技術也在不斷提升。在這些技術中可圈可點的包括分布式存儲技術，如Hadoop；在微博興起之后的非結構化數據處理技術；隨著傳輸能力的提高得到快速應用的云存儲技術等。

在12306網站剛剛上線時，因為購票人數太多，造成大量的訪問請求無法及時處理，給服務器帶來巨大的壓力，網站一度癱瘓。后來經過同阿里巴巴合作，12306網站通過分布式算法，提高了響應請求的速度，雖然消費者需要不斷刷新以獲取新票源，但其有效地解決了高并發請求和響應的問題，這也是數據處理技術升級的一個案例。在“雙十一”期間，淘寶能夠在1秒內應付上億次的數據查詢和訂單處理；亞馬遜的AWS系統同時連接著200萬臺以上的服務器，這些技術的發展，為我們挖掘和使用巨量的數據提供了基礎條件。

當然，現在的數據分析和數據挖掘技術相比數據量級的快速升級還相對滯后，雖然我們現在在數字數據和文本數據處理上有了較大的進步，但我們在聲音的識別與查詢，圖片的識別與處理，視頻資料的自動查詢、處理和分析上還有很大的空白區域，仍然需要深度的技術開發或者探索。對于圖片、視頻、音頻的搜索，仍然需要通過文字標簽的形式來處理；而從圖片中自動識別內容的相關技術，如車牌識別技術、人像識別技術等，才剛剛起步，離我們可以深度利用還有很長的一段路要走。

以上四大類技術在快速發展著，也在快速普及著，并且技術成本還在不斷下降。數據自動采集已不再是大企業的專利，就連一個普通居民小區門口的停車管理系統都能自動識別車牌號并自動計費，而其安裝成本不足萬元；一家大型的商場耗資不足10萬元就能夠安裝整套的Wi-Fi監控設備，從而可以隨時隨地地觀測商場里持有智能手機的顧客的行動軌跡和行為模式，為商場優化布局、精細化管理，為商戶選址和制定促銷策略提供依據。在企業管理中，特別是在生產制造型企業中，對物料的追溯越來越便捷，有更多的智能終端技術可以采用，包括條形碼、二維碼、圖像識別、監控錄像、智能芯片等。

技術在革新，時代在變遷，在智能信息時代，人們的生活逐漸在“數據化”，而企業的運營管理活動也在被“數據化”。分析和挖掘數據是企業的管理者必須要掌握的基本技能，要充分利用數據掌控各種內部或外部信息，提高個人的影響力和控制力，從而為企業創造更大的價值。“信息即權力”，掌握信息越多的人，就會擁有更多的話語權。而信息來自對數據的加工，如果不能從數據中提取信息用于管理決策，那么采集的數據只會成為企業的成本；如果能夠充分發揮數據的力量，在數據中挖掘價值，那么數據就會成為企業的資產。