1.2 云計算與大數據

大數據可以通俗地理解為無法在一定時間內用傳統數據庫軟件工具對其內容進行抓取、管理和處理的數據集合。根據國際數據公司（International Data Corporation, IDC）的監測統計，即使在遭遇金融危機的2009年，全球信息量也比2008年增長了62%，達到80萬PB（1PB=220 GB），到2011年全球數據總量已經達到1.8ZB（1ZB=240 GB），并且以每兩年翻一番的速度飛速增長，預計到2020年全球數據量總量將達到40ZB。在數據規模急劇增長的同時，數據類型也越來越復雜，包括結構化數據、半結構化數據、非結構化數據等多種類型，其中采用傳統數據處理手段難以處理的非結構化數據已接近數據總量的75%。

鑒于大數據分析技術在經濟、社會的應用和潛在的巨大影響，很多國家都將大數據視作戰略資源，并將大數據應用提升為國家戰略。2012年3月，美國奧巴馬政府宣布推出“大數據的研究和發展計劃”。2012年9月，日本總務省發布2013年行動計劃，提出以復蘇日本為目的推進“活躍在ICT領域的日本”ICT綜合戰，明確提出“通過大數據和開放數據開創新市場”。2013年2月，法國政府發布了《數字化路線圖》，列出了5項將會大力支持的戰略性高新技術，“大數據”就是其中一項。2013年1月，中國國家能源局下發了《關于數據中心建設布局的指導意見》，國家發展和改革委員會與中科院正式啟動基礎研究“大數據服務平臺應用示范”項目；2013年3月，中國電機工程學會發布了《中國電力大數據發展白皮書》；2013年年初，貴州省發布《貴州“云計算”戰略規劃》；2013年10月，中國國內領先水平的大規模云計算數據中心、云計算研發應用示范基地——中國電信云計算貴州信息園在貴陽正式開工建設。這些實例進一步說明了大數據應用的重要性，未來大數據可能成為國家創新能力和競爭力的重要體現。

僅2009年，谷歌公司通過大數據業務對美國經濟的貢獻就為540億美元，而這只是大數據所蘊含的巨大經濟效益的冰山一角。淘寶公司通過對大量交易數據變化分析，可以提前6個月預測全球經濟發展趨勢。2011年5月，麥肯錫公司發布了關于大數據的調研報告《大數據：下一個前沿，競爭力、創新力和生產力》，文中充分闡明了大數據研究的地位以及將會給社會帶來的價值，大數據研究已成為社會發展和技術進步的迫切需要。

目前，大數據應用已在社會經濟活動方面展示出巨大的價值和潛力，在電力行業也有成功的應用范例。丹麥的維斯塔斯風力技術集團（Vestas Wind System A/S），通過在世界上最大的超級計算機上部署國際商業機器公司（International Business Machines Corporation, IBM）大數據解決方案，得以通過分析包括PB量級氣象報告、潮汐相位、地理空間、衛星圖像等結構化及非結構化的海量數據，從而優化風力渦輪機布局，提高風電發電效率。這些以前需要數周時間完成的分析工作現在只需不到1小時即可完成。美國的Space-Time公司2011年利用大數據可視化技術為美國加州獨立系統運營商設計了一套實時監控電力傳輸系統能源基礎設施的可視化軟件Space-Time Insight，該系統可實時監測25000km的輸電線路狀況，可根據發生問題的嚴重性和臨近地區的反應及時做出決策，保障電網的安全運行。中國國家電網所屬的國家冀北電力有限公司，正在使用智慧風能解決方案來整合可再生能源并入所屬電網，通過使用IBM風力預測技術，張北項目的第一階段目標，旨在增加10%的可再生能源的整合發電量。通過分析提供所需的信息，將使能源電力公司得以減少風能并網的限制，進而更有效地使用已產出的能源，強化電網的運行。這種大數據的應用實踐對中國電力大數據分析展示乃至整個能源相關行業都具有巨大的參考價值。應對大數據處理分析的有效技術方式是云計算技術。

云計算（Cloud Computing）是基于互聯網的計算存儲服務的增加、使用和交付模式，通常涉及通過互聯網提供動態易擴展且通常是虛擬化的資源，是應對當前大數據挑戰的有效方式。云是對網絡或互聯網的一種比喻說法。過去在圖中往往用云表示電信網，后來也用于表示互聯網和底層基礎設施的抽象。云計算可以讓用戶體驗每秒10萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預測氣候變化和市場發展趨勢。用戶通過計算機、筆記本、手機等方式接入數據中心，按自己的需求進行運算。

現階段廣為接受的云計算定義是美國國家標準與技術研究院（National Institute of Standards and Technology, NIST）提出的：云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池（資源包括網絡、服務器、存儲、應用軟件、服務等），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。

當前，被普遍接受的云計算特點如下所述。

（1）超大規模

“云”具有相當的規模，Google云計算已經擁有100多萬臺服務器，Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬臺服務器。企業私有云一般擁有數百上千臺服務器。“云”能賦予用戶前所未有的計算能力。

（2）虛擬化

云計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自“云”，而不是固定的有形的實體。應用在“云”中某處運行，但實際上用戶無須了解、也不用擔心應用運行的具體位置。只需要一臺筆記本或者一個手機，就可以通過網絡服務實現我們需要的一切，甚至包括超級計算這樣的任務。

（3）高可靠性

“云”使用了數據多副本容錯、計算節點同構可互換等措施保障服務的高可靠性，使用云計算比使用本地計算機可靠。

（4）通用性

云計算不針對特定的應用，在“云”的支撐下可以構造出千變萬化的應用，同一個“云”可以同時支撐不同的應用運行。

（5）高可擴展性

“云”的規模可以動態伸縮，滿足應用和用戶規模增長的需要。

（6）按需服務

“云”是一個龐大的資源池，你按需購買；云可以像自來水、電、煤氣那樣計費。

（7）極其廉價

由于“云”的特殊容錯措施，可以采用極其廉價的節點構成云，“云”的自動化集中式管理使大量企業無須負擔日益高昂的數據中心管理成本，“云”的通用性使資源的利用率較之傳統系統大幅提升，因此用戶可以充分享受“云”的低成本優勢，經常只要花費幾百美元、幾天時間就能完成以前需要數萬美元、數月時間才能完成的任務。云計算可以徹底改變人們未來的生活，但同時也要重視環境問題，這樣才能真正為人類進步做貢獻，而不是簡單的技術提升。

（8）潛在的危險性

云計算服務除了提供計算服務外，還必然提供了存儲服務。但是云計算服務當前壟斷在私人機構（企業）手中，而他們僅能夠提供商業信用。對于政府機構、商業機構（特別像銀行這樣持有敏感數據的商業機構）選擇云計算服務應保持足夠的警惕。一旦商業用戶大規模使用私人機構提供的云計算服務，無論其技術優勢有多強，都不可避免地讓這些私人機構以“數據（信息）”的重要性挾制整個社會。對于信息社會而言，“信息”是至關重要的。另一方面，云計算中的數據對于數據所有者以外的其他用戶云計算用戶是保密的，但是對于提供云計算的商業機構而言確實毫無秘密可言。所有這些潛在的危險，是商業機構和政府機構選擇云計算服務、特別是國外機構提供的云計算服務時，不得不考慮的一個重要前提。

在智能電網運行過程中，大數據產生于整個系統的各個環節。比如在用電側，隨著大量智能電表及智能終端的安裝部署，電力公司和用戶之間的交互行為迅猛增長，電力公司可以每隔一段時間獲取用戶的用電信息，從而收集了比以往粒度更細的海量電力消費數據，構成智能電網中用戶側大數據。通過對數據分析可以更好地理解電力客戶的用電行為、合理地設計電力需求響應系統和進行短期負荷預測等，從而有利于電網的規劃和運行。

在智能電網中，隨著高壓、特高壓電網及配電自動化建設的不斷推進，智能化設備及系統應用數量不斷增長，電網設備的部署結構與產生的數據日益復雜龐大。一方面，設備的自身狀態和外部環境都會影響系統的運行，迫切需要對輸變電設備負載能力、運行狀態進行動態評估，以降低故障發生概率及相關風險，減少設備運行維護成本，提高設備凈資產收益率；另一方面，由于智能輸變電設備數量的不斷增長，電網中獲取與傳輸的各類數據也在發生幾何級數的增長。這些數據不僅包括設備異常時出現的各類故障信號，運行過程中設備的各類狀態信息，同時還包含了大量的相關數據，如地理信息、氣象、視頻圖像、設備臺賬、實驗數據與文檔等。如何將這些多源異構高維的數據資源進行統一的收集、過濾與處理，并對現有的設備狀態檢測方案進行優化成為新的挑戰。此外，基于因果關系的傳統設備狀態評價方法著眼點為單一設備和少量異常數據，難以實現對大量“數據資產”的綜合有效利用以及面向整個電網的準確狀態評估和風險預測。

鑒于大數據在電力系統中出現的場合越來越多，有必要對目前的應用現狀和將來的挑戰進行總結，為大數據技術在智能電網建設中的應用提供有益的參考。本節試圖將智能電網中大數據的研究和應用現狀及挑戰進行綜述，并給出了智能電網大數據存儲與分析系統的一種可選的框架。