2.2 數據挖掘技術與方法

2.2.1 數據挖掘技術

有關用戶和資源的個性化信息的抽取是個性化推薦過程中的關鍵步驟，最常用、最有效的方法是使用數據挖掘技術在歷史數據中發現個性化信息。面向個性化服務數據挖掘的對象包括用戶的歷史數據、瀏覽模式、查詢結果、服務器日志等，目標是最終發現用戶的特定需求并且與可進行推薦的資源進行匹配。

數據挖掘是從大量的、不完全的、有噪聲的、模糊的和隨機的數據中挖掘潛在的信息和知識的過程，它是一種基于事實和數據的尋找對決策支持有用的模式的過程。與數據檢索、查詢不同，它需要對數據進行統計分析，加以綜合和推理，發現事物間的相互關聯，并利用已有的數據對未來活動進行預測。數據挖掘方法可以分為兩類：一類是建立在統計模型的基礎上，采用的技術有決策樹、分類、聚類、關聯規則等；另一類是建立在一種以機器學習為主的人工智能模型的基礎上，如遺傳算法、蟻群算法和神經網絡等。

2.2.2 Web挖掘技術

Web挖掘是數據挖掘技術在Web環境中的使用。Web數據挖掘的主要目的是自動從Web文檔或服務使用記錄中獲取有用信息[47]。Web使用挖掘、Web結構挖掘和Web內容挖掘是Web挖掘的三個主要類別[48]。而語義Web挖掘則是當前研究的前沿領域。

（1）Web結構挖掘主要分析頁面之間的關聯信息以及頁面質量和結構等方面的特征，挖掘文檔之間的引用、包含和從屬關系，從Web超鏈接結構中發現某些模式，可以幫助查詢檢索提供更準確、覆蓋面更廣的結果[49]。比較流行的算法如HITS[50]、Page Rank[51]等，這些算法主要用作計算每個頁面的質量和相關性的手段來給出模型化Web拓撲結構。另外，還有許多研究集中在XML（eXtensible Markup Language）文檔的結構模式上[52][53]等。

（2）Web內容挖掘，將網站內容分類，將類似網頁組合在一起以提高信息檢索的性能[54]。Web內容挖掘主要分為Web文本挖掘和Web多媒體挖掘。Web文本挖掘是從大量Web文本文檔的集合中發現某種隱含的模式過程。為Web文本內容建立特征模型是Web文本挖掘中的關鍵技術，Web內容挖掘中的聚類、分類、規則或模式識別等任務都與內容特征模型相關。常用的文本內容特征模型包括布爾模型（Boolean Model）、聚類模型（Cluster Model）、基于知識模型（Knowledge-Based Model）、概率模型（Probabilistic Model）和向量空間模型（Vector Space Model）等[55]，必要時還需要在特征進行提取與縮減[56][57]之后再利用關聯規則、分類和聚類等數據挖掘方法提取規則模式。最后評價挖掘結果并分析改進接下來的挖掘工作。Web多媒體挖掘是從Web上大量的多媒體數據（音頻數據、視頻數據和圖像數據）中發現隱含的模式。相關應用如多媒體信息檢索、多媒體信息建模、分類預測分析、多媒體關聯分析等[58]。

（3）Web使用挖掘是通過分析用戶在網站上的行為記錄了解用戶的興趣偏好和習慣，并對用戶未來的行為進行預測，以便提供個性化的產品信息和服務。相關研究將Web使用挖掘方法分為兩種[59]：基于數據立方體的方法和基于Web事務的方法。基于數據立方體的方法首先根據Web服務器日志文件，建立數據立方體，并在數據立方體上進行聯機分析處理和數據挖掘。這種方法的重點在于將Web服務器日志轉變為結構化的數據立方體，并借助各種成熟的數據挖掘技術從多角度、全面地進行挖掘和分析[61]。最典型的基于Web事務的使用挖掘方法，首先根據Web服務器日志文件中的用戶會話提取出事務集，并在其中提取頻繁訪問的事務序列，然后利用類似與關聯規則一類的方法挖掘頻繁出現的事務序列，從而得到用戶的訪問模式[60]。

（4）語義Web挖掘，隨著語義網的發展，語義Web挖掘逐漸成為研究熱點[62]。現有的基于命題邏輯的數據挖掘技術對于具有一階邏輯（也稱謂詞邏輯）的本體信息并不合適，不能發揮語義Web應用的表達能力和推理能力，因此語義Web挖掘的研究重點是如何使算法在利用背景知識的基礎上具有一階邏輯能力，而且不需要進行數據轉換，直接通過本體語言進行數據挖掘。已經有學者提出一些方法來解決，如語義Web分類學習算法ILP（Inductive Logic Programming）[63][64]等。另外，基于XML的Web挖掘也是當前研究的熱點，基于XML的Web挖掘與語義Web挖掘有著密切的關聯，可以在一定程度上解決當前Web挖掘所面臨的“半結構化的數據結構”“半結構化的數據源”和“異構數據庫環境”等問題[65][66]。