1.3　機器學習和數據挖掘

雖然數據挖掘（DM, Data Mining）這一術語在20世紀90年代才出現，但是數據挖掘所涉及的技術早在20世紀30年代已有所發展。隨著計算機技術和數據庫在各行各業得到廣泛應用，業務系統產生的數據量不斷膨脹，傳統的統計分析工具受到巨大的挑戰，導致企業級數據倉庫（DW，Data Warehouse）出現，數據倉庫的出現，預示著需要某種革命性的技術去挖掘大量數據背后的潛在價值。科學家和研究人員把當時最新的數據分析技術（例如關聯規則、神經網絡、決策樹等）與數據庫技術結合起來，用計算機嘗試挖掘基于數據庫存儲的大量業務數據背后的信息和知識，兩者的結合催生了數據庫知識發現（KDD, Knowledge Discovery in Databases）的誕生。1989年8月，在美國底特律召開的第11屆國際人工智能聯合會議（IJCAI-89）上，首次由Gregory PiatetskyShapiro提出了知識發現（KDD）這個概念，目前KDD的重點已經從發現方法轉向了實踐應用。

數據挖掘是KDD的核心，它是從大量數據中提取可信的、新穎的、有效的知識的處理過程，這些知識一般來說是隱含的、事先未知的有用信息，表現形式為概念、規則、模式和規律等。圖1-7展示了數據挖掘示意圖。

從數據挖掘和機器學習的發展歷史來看，兩者在起源、任務目標、實現技術等方面有眾多的不同，但是隨著大數據及人工智能技術的發展和應用，可以認為機器學習是數據挖掘的升級，兩者的區別越來越小，更多的是分工和融合。筆者認為，當前數據挖掘和機器學習的關系是業務應用和具體技術的關系，簡單來說，數據挖掘更多面向業務分析人員，屬于業務分析的范疇，是人工智能技術在業務分析中的重要應用；機器學習關注機器訓練，涉及自動提取信息和構建模型的算法研究，是人工智能技術發展的重要組成部分。二者是同一個問題的不同側面，和大數據技術一起，攜手共同解決業務問題，實現業務的智能化。

圖1-7　數據挖掘示意圖