大數(shù)據(jù)平臺異常檢測分析系統(tǒng)的若干關(guān)鍵技術(shù)研究
大數(shù)據(jù)技術(shù)生態(tài)體系中的各類技術(shù)構(gòu)件本身沒有可自省的安全機制，構(gòu)件間使用的RPC協(xié)議也沒有安全機制，大數(shù)據(jù)平臺的安全性面臨著巨大挑戰(zhàn)，如何高效、快速地檢測大數(shù)據(jù)平臺中的應(yīng)用異常對提高大數(shù)據(jù)平臺的安全性具有重要意義。本書在介紹相關(guān)研究工作及相關(guān)基礎(chǔ)內(nèi)容之后，主要針對大數(shù)據(jù)平臺的應(yīng)用層日志數(shù)據(jù)，研究了平臺異常的檢測與分析問題，構(gòu)建了大數(shù)據(jù)平臺異常的離線檢測分析的方法體系及實時檢測的機制。研究了基于數(shù)據(jù)流二重概念漂移檢測的增量學(xué)習(xí)、分布式日志的最大頻繁序列模式挖掘算法、基于最大頻繁模式的動態(tài)規(guī)則庫構(gòu)建算法、基于Web會話流的分布式實時異常定位算法、基于最大信息系數(shù)的在線異常檢測算法、基于聚類分析的離線異常檢測算法、基于相鄰請求的動態(tài)時間閾值會話識別算法、基于會話特征相似性模糊聚類的SFAD異常檢測算法、基于貝葉斯粒子群的異常檢測算法、平臺異常時的推測式任務(wù)調(diào)度策略、基于實時負(fù)載的推測式任務(wù)調(diào)度算法。分析了大數(shù)據(jù)平臺異常檢測分析（RADA）系統(tǒng)在實現(xiàn)時所采用的大數(shù)據(jù)技術(shù)與組件技術(shù)選型，針對RADA系統(tǒng)進(jìn)行了深入的結(jié)構(gòu)化分析，介紹了基于融合架構(gòu)的RADA系統(tǒng)概要設(shè)計，研究了RADA系統(tǒng)的詳細(xì)設(shè)計與實現(xiàn)方法，完整地總結(jié)了大數(shù)據(jù)平臺異常的實時檢測技術(shù)與分析RADA系統(tǒng)的關(guān)鍵技術(shù)。
·12.6萬字
