前言

近年來，隨著智能電網(wǎng)研究和建設的不斷推進、各種分布式可再生能源的大規(guī)模應用等，電網(wǎng)規(guī)模不斷擴大、結構日趨復雜，對電網(wǎng)監(jiān)測的廣度不斷擴大、深度不斷加強，而對大規(guī)模電網(wǎng)的全方位、多尺度感知將使電力系統(tǒng)運行和監(jiān)測過程中收集的數(shù)據(jù)量呈指數(shù)級增長，并逐漸形成了電力大數(shù)據(jù)。通常情況下，電力大數(shù)據(jù)具有如下特點。

（1）體量巨大。從TB級別躍升到PB級別，廣域向量測量系統(tǒng)（Wide Area Measurement System, WAMS）和數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)（Supervisory Control and Data Acquisition, SCADA）遙測點增加、采集頻率提高，每年將產生超過TB級的數(shù)據(jù)；用電信息采集系統(tǒng)成為世界上最大的自動化計量系統(tǒng)，連接著以億計算的用戶，隨著采集頻率提高，數(shù)據(jù)量將以PB計算。

（2）多源異構特性。電力系統(tǒng)本身結構復雜、規(guī)模龐大，采集的數(shù)據(jù)具有明顯的多源異構特性。同時也需要對電網(wǎng)系統(tǒng)外數(shù)據(jù)（氣象、地理、環(huán)境等）與內部數(shù)據(jù)進行關聯(lián)分析。比如與電力設備狀態(tài)評估相關的數(shù)據(jù)來源廣、種類多，包括在線監(jiān)測實時數(shù)據(jù)、設備臺賬信息、預試數(shù)據(jù)以及音視頻和氣候環(huán)境等非結構化數(shù)據(jù)。

（3）生成速度快。由于電力系統(tǒng)的特殊性，在某些場景下數(shù)據(jù)采樣頻率很高，數(shù)據(jù)生成速度非常快。分布式能源隨氣候環(huán)境動態(tài)變化，要求快速準確預測變化，需要對設備和環(huán)境實時監(jiān)控。在SCADA調度系統(tǒng)中，每分鐘產生的數(shù)據(jù)量也將達到GB級。

（4）價值密度低。以視頻數(shù)據(jù)為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有1～2s。在基于經(jīng)驗和人工的傳統(tǒng)輸變電設備狀態(tài)監(jiān)測評估中，只對少量異常數(shù)據(jù)關注、處理和采用，而丟棄所謂“正常數(shù)據(jù)”，然而大量的正常數(shù)據(jù)也可能成為故障分析判斷的重要依據(jù)。

基于電力大數(shù)據(jù)的特點，深入探討數(shù)據(jù)驅動的電力系統(tǒng)各項技術，提高數(shù)據(jù)利用率是當前智能電網(wǎng)建設過程中必須要面對的問題。云計算技術是處理分析大數(shù)據(jù)的有效方式，具有良好的可擴展性和容錯機制，在商業(yè)互聯(lián)網(wǎng)領域應用廣泛。隨著電力大數(shù)據(jù)的形成，探討基于云計算技術的電力大數(shù)據(jù)分析處理，進而對提高電力系統(tǒng)的整體安全性和可靠性具有重要的研究價值。然而，由于電力系統(tǒng)運行模式與商業(yè)互聯(lián)網(wǎng)企業(yè)相比具有自身的特點和性能要求，當云計算應用于生產運行數(shù)據(jù)時具有很大的挑戰(zhàn)性，本文正是基于此背景展開相關研究和探討。

當前云計算技術包括批處理計算、流式計算和內存計算等三種方式，分別適應于不同的數(shù)據(jù)處理類型。其中，批處理適合離線靜態(tài)數(shù)據(jù)分析，對運行時間要求較低；而流式計算面對流動的實時數(shù)據(jù)動態(tài)計算，對時限性要求較高；內存計算是針對批處理頻繁磁盤操作性能瓶頸，適應需要多次迭代的機器學習類算法。另外，針對電力大數(shù)據(jù)的多源異構特點，需要開展數(shù)據(jù)融合分析技術，為用戶提供統(tǒng)一綜合的查詢視圖。綜上所述，本書主要開展了如下幾項研究工作。

（1）智能電網(wǎng)大數(shù)據(jù)批處理技術模式研究與應用（第1章）

利用收集的靜態(tài)離線電力大數(shù)據(jù)，開展了電力短期負荷預測、絕緣子泄漏電流數(shù)據(jù)高效存儲和聚類劃分及局部放電信號處理的并行EEMD算法研究。主要采用的技術是Hadoop的MapReduce技術，通過并行計算和大數(shù)據(jù)的支撐，提高數(shù)據(jù)處理的效率。

（2）智能電網(wǎng)大數(shù)據(jù)高性能內存計算技術研究（第3章）

針對電力系統(tǒng)中部分應用需要高性能計算分析的特點，開展內存計算技術在電力系統(tǒng)中的應用研究。重點對監(jiān)測數(shù)據(jù)尤其是在線監(jiān)測領域，監(jiān)測數(shù)據(jù)速度快的特點，研究高效的內存聚類算法。另外，對電力數(shù)據(jù)高級分析的OLAP技術開展了基于內存計算的并行方體計算技術研究。

（3）智能電網(wǎng)大數(shù)據(jù)的多源數(shù)據(jù)融合分析技術（第4章）

針對智能電網(wǎng)大數(shù)據(jù)多源異構的特點，研究數(shù)據(jù)融合技術，為用戶提供統(tǒng)一的查詢或顯示視圖。重點研究內容包括多通道數(shù)據(jù)融合特征提取和多數(shù)據(jù)源的連接技術，并結合Hadoop和Spark研究并行計算模式和高速融合算法。

（4）智能電網(wǎng)大數(shù)據(jù)的流式計算研究（第5章）

針對智能電網(wǎng)大數(shù)據(jù)速度快，多種場景下表現(xiàn)出流數(shù)據(jù)的特征，研究流式計算技術動態(tài)處理數(shù)據(jù)，應用在在線監(jiān)測和實時用電信息采集系統(tǒng)中。研究了監(jiān)測流數(shù)據(jù)實時過濾和檢測技術，通過設計基于工作流的處理模型，快速實現(xiàn)對大規(guī)模流數(shù)據(jù)的監(jiān)測，實時發(fā)現(xiàn)異常，提高監(jiān)測效率。針對大規(guī)模用電信息采集系統(tǒng)，設計流式計算的聚類算法，完成數(shù)據(jù)聚類劃分，實時發(fā)現(xiàn)用電行為異常，從而提升數(shù)據(jù)分析技術與生產系統(tǒng)的融合水平。

（5）全景實時分析平臺關鍵技術探索（第6章）

智能電網(wǎng)最終目標的實現(xiàn)需要借助全景實時分析平臺的支撐，將大數(shù)據(jù)平臺變?yōu)橹悄茈娋W(wǎng)的神經(jīng)中樞，促進大數(shù)據(jù)與電力系統(tǒng)的深度融合，從數(shù)據(jù)驅動的角度研究當前電力系統(tǒng)面臨的挑戰(zhàn)問題。探討基于內存計算、實時流式大數(shù)據(jù)處理技術、大規(guī)模并行計算技術及列存儲等在電力大數(shù)據(jù)實時分析中的應用，滿足電力系統(tǒng)對大數(shù)據(jù)分析的時效性需求；結合主流開源大數(shù)據(jù)處理技術，設計了電力大數(shù)據(jù)分析平臺的分層體系架構，為電力系統(tǒng)的高效運行提供保證。

（6）能源互聯(lián)網(wǎng)中的大數(shù)據(jù)（第7章）

能源互聯(lián)網(wǎng)是實現(xiàn)廣域范圍內的能源分享和支持分布式清潔能源為主體，將涵蓋大規(guī)模的分布式能源、交通網(wǎng)絡、天然氣網(wǎng)絡等，而支撐能源互聯(lián)網(wǎng)高效運行和實時能源分享的核心技術應包括大數(shù)據(jù)分析技術。探討了通過大數(shù)據(jù)提高能源互聯(lián)網(wǎng)的安全等級和高效實時調度技術。

本書由國網(wǎng)冀北電力有限公司技能培訓中心周國亮統(tǒng)稿，并負責第1、2、5、6、7、8章的編寫，華北電力大學宋亞奇和王桂蘭分別負責第3、4章的編寫，華北電力大學朱永利教授對全書進行了審閱。

本書的研究工作得到了河北省自然科學基金（F2014502069）的資助。在這里，謹對所有給予我們指導、關心和幫助過的單位和個人表達最誠摯的謝意，沒有你們認真負責的工作，此書不可能完成。感謝本書引用中所涉及的各位學者、專家。本文引用了多位學者的研究文獻，如果沒有各位學者研究成果的幫助和啟發(fā)，我們將很難完成本書的內容。感謝為本書出版做出辛勤工作的出版社同志，沒有你們的專業(yè)勞動，展現(xiàn)在讀者面前的內容會很凌亂，很難示人。感謝閱讀此書的每一位讀者，是你們的閱讀才使我們的工作有意義，謝謝你們。

由于我們的學術水平、工程經(jīng)驗有限，對所研究內容把握能力還存在不足和欠缺，書中不足之處在所難免，懇請各位專家和讀者批評和指正！我們的郵箱是yu＿bing＿2000@163.

com，謝謝！

周國亮

2016年3月28日