大數據這個術語最早期的引用可追溯到 Apache 軟件基金會的開源項目 Nutch。當時，大數據用來描述為更新網絡搜索索引需要同時進行批量處理或分析的大量數據集[1]。早在 2008 年 Nature 就出版了專刊“Big Data”，從網絡經濟學、超級計算、互聯網技術、生物醫藥、環境科學等多個方面介紹了海量數據帶來的挑戰;2011 年 Science 推出數據處理的專刊“Dealing With Data”，深入討論了數據洪流(data deluge，DD)所帶來的挑戰，并指出如果能夠更有效地組織和利用這些海量數據，人們將得到更多的機會發揮科學技術對推動社會發展的巨大作用;2012 年奧巴馬宣布美國政府投資 2 億美元啟動“大數據研究和發展計劃”，將大數據比喻為“未來的新石油”，將對大數據的研究上升為國家意志，掀起了世界各國大數據的研究熱潮[2-7]。

　　大數據的定義，業界雖然有一些共識，但是并未有統一的定義。麥肯錫認為“大數據是指其大小超出典型數據軟件抓取、儲存、管理和分析范圍的數據集合”;Gartner 認為“大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產”[1]。在對大數據的定義中，比較有代表性的定義是 3V 定義，即規模性(Volume)，多樣性(Variety)和高速性 (Velocity)，規模性是指數據量龐大，數據洪流已經從 GB、TB 級上升到 PB、EB、ZB 級;多樣性是指數據類型繁多，并且包含結構化、半結構化和非結構化的數據;高速性則是指數據以數據流的形態快速、動態的產生，數據處理的速度也必須達到高速實時處理[7-12]。另外大數據第 4V 的討論并沒有取得一致的結論，國際數據公司(international data corporation，IDC)認為大數據應該具有價值性 (Value)，且價值密度稀疏;IBM 則認為大數據的第 4V 特性是真實性(Veracity)[8]。大數據的這些特點決定了在大數據時代，傳統的數據處理技術必需有革命性的提升。

　　1 智能電網、云計算和大數據的關系

　　1.1 智能電網與大數據的關系智能電網就是將信息技術、計算機技術、通信技術和原有輸、配電基礎設施高度集成而形成的新型電網，具有提高能源效率、提高供電安全性、減少環境影響、提高供電可靠性、減少輸電網電能損耗等優點[11]。智能電網的理念是通過獲取更多的用戶如何用電、怎樣用電的信息，來優化電的生產、分配及消耗，利用現代網絡、通信和信息技術進行信息海量交互，來實現電網設備間信息交換，并自動完成信息采集、測量、控制、保護、計量和監測等基本功能，可根據需要支持電網實時自動化控制、智能調節、在線分析決策和協同互動等高級功能，因此相關研究者指出：可以抽象的認為，智能電網就是大數據這個概念在電力行業中的應用[12]。

　　1.2 大數據與云計算的關系根據美國國家標準與技術研究院的定義，云計算是一種利用互聯網實現隨時、隨地、按需、便捷地訪問共享資源池(如計算設施、應用程序、存儲設備等)的計算模式[13]。從技術上看，大數據根植于云計算，云計算的數據存儲、管理與分析方面的技術是大數據技術的基礎。利用云計算強大的計算能力，可以更加迅速地處理大數據，并更方便地提供服務;通過大數據的業務需求，可以為云計算的發展找到更多更好的實際應用[14]。云計算使大數據應用成為可能，但是沒有大數據的信息沉淀，云計算的功能將得不到完全發揮，所以從整體上看，大數據與云計算是相輔相成的[15]。

　　1.3 智能電網、云計算、大數據的相互關系圖 1 簡要描述了智能電網、云計算、大數據三者之間的相互關系。云計算能夠整合智能電網系統內部計算處理和存儲資源，提高電網處理和交互能力，成為電網強有力的技術組成[16];大數據技術立足于業務服務需求，根植于云計算，以云計算技術為基礎;智能電網可以抽象的認為是大數據這個概念在電力中的應用[12]，所以三者是彼此交互的關系。智能電網、云計算、大數據三者之間的關系，從更加深層次來講，是電力系統發展到不同階段的產物，具有代紀傳承的特點。圖 2 從代紀傳承的角度描述了三者之間的相互關系。

　　2 電力大數據平臺的總體架構

　　Apache 基金會開源技術通用的大數據平臺整體架構如圖 3 所示[17]。該架構具有較好的通用性，適用于電力企業大數據的規劃，其主要思想是利用基于 Hadoop 文件系統(Hadoop distributed file system，HDFS)的分布式文件處理系統作為大數據的存儲框架，利用基于 MapReduce 的分布式計算技術作為大數據的處理框架。以分布式文件處理技術為基礎，使 PB、ZB 級的數據存儲成為可能;以分布式計算技術為基礎，使得 PB、ZB 級數據的查詢分析成為可能。另外該框架中還包含商業智能應用、傳統的數據倉庫、大數據訪問框架、大數據調度框架、網絡層、操作系統、服務器、備份和恢復、數據管理等模塊。

　　大數據存儲框架和大數據處理框架通常構建在通用的服務器、操作系統或者虛擬機上，使得該架構所需的硬件具有低成本和高擴展性的特點，標準的普通服務器或者 PC 機即可成為基于該架構的終端構成單元。大數據存儲框架和大數據處理框架之上是通過網絡層連接的大數據訪問框架，該訪問框架包含并行計算機編程語言 Pig、數據倉庫工具 Hive、開源數據傳遞工具 Sqoop 等子模塊。

　　3 電力大數據關鍵技術

　　3.1 電力大數據的集成管理技術電力企業數據集成管理技術是合并來自 2 個或者多個應用系統的數據，創建一個具有更多功能的企業應用的過程。從集成的角度來說，就是把不同來源、格式、特點、性質的數據在邏輯上或者存儲介質上有機地集中，為系統存儲一系列面向主題的、集成的、相對穩定的、反映歷史變化的數據集合，從而為系統提供全面的數據共享。電力企業集成管理技術就是為解決電力企業內部各系統間的數據冗余和信息孤島而產生的[18]。

　　3.2 電力大數據的數據分析技術大數據技術的根本驅動力是將信號轉化為數據，將數據分析為信息，將信息提煉為知識，以知識促成決策和行動[12]。借助電力大數據的分析技術可以從電力系統的海量數據中找出潛在的模態與規律，為決策人員提供決策支持。麥肯錫認為可用于大數據分析的關鍵技術源于統計學和計算機科學等學科，包含關聯分析、機器學習、數據挖掘、模式識別、神經網絡、時間序列預測模型、遺傳算法等多種不同的方法[19]。大數據研究不同于傳統的邏輯推理研究，是對巨大數量的數據做統計性的搜索、分類、比較、聚類等的分析和歸納，因此繼承了統計科學的一些特點，如統計學關注的數據相關性或稱關聯性，所謂 “相關性”是指 2 個或 2 個以上變量的取值之間存在某種規律性[7]。“相關分析”的目的是找出數據集里隱藏的關系網，一般用支持度、可信度、興趣度等參數反映相關性[7]。

　　3.3 電力大數據的數據處理技術電力大數據的數據處理技術包括分布式計算技術，內存計算技術，流處理技術等，這 3 種技術適用的對象和解決的主要問題如圖 5 所示。分布式計算技術是為了解決大規模數據的分布式存儲與處理。內存計算技術是為了解決數據的高效讀取和處理在線的實時計算。流處理技術則是為了處理實時到達的、速度和規模不受控制的數據。

　　4 大數據在智能電網中的應用案例

　　電力大數據的應用場合涵蓋發、輸、變、配、用、調等電力行業的各個環節，在風電場選址、降低網損、風電并網、電網安全監測、大災難預警、電力企業精細化運營、電力設備狀態監測等領域有非常強的可實現性。隨著智能電網建設的進一步推進，大數據技術在智能電網中將發揮越來越大的作用。下面通過幾個典型應用案例進一步闡述大數據在智能電網中的應用前景。

　　1)IBM 大數據技術在新能源接入中的應用。在電力生產環節，隨著新能源大量接入，打破了相對靜態的傳統電力生產，使得電力生產的管理和計量變得日趨復雜[10]。大數據技術能為電力企業做出更好的預測。丹麥的維斯塔斯風力技術集團，通過在世界上最大的超級計算機上部署 IBM 大數據解決方案，得以通過分析包括 PB 量級氣象報告、潮汐相位、地理空間、衛星圖像等結構化及非結構化的海量數據，從而優化了風力渦輪機布局，提高風電發電效率。

　　2)大數據技術在風電機組安全狀態評估中的應用。風電機組運行環境非常惡劣，受雷雨、鹽霧、冰雪等因素的影響[35]。采用基于大數據挖掘技術的風電機組安全經濟運行狀態綜合評估系統，監測零部件磨損、疲勞等原因引起的狀態變化信息，并由此識別和預測風電機組設備或者零部件的故障，提高機組的運行安全性，避免早發故障導致的更為嚴重的故障，并降低運維費用。基于大數據分析的風電機組潛在故障早期預警流程圖如圖 7 所示[35]。該預測系統以設備歷史數據和在線實時監測數據為基礎，通過設備屬性配置定義創建設備超球模型，并用該模型在在線超球模型中評估設備狀況。在線評估模型的輸出是相似度曲線，用于關聯點排序、狀態預警和測點值的預測。

　　3)大數據技術在電網災難預警中的應用。隨著電網日益增加的復雜性和不斷變化的自然環境，電力系統中的災難性連鎖事故頻繁發生，這些災難性連鎖事故大多數始于系統某個元件故障[36]。大規模停電事故初期往往是少量元件相繼故障，在事故擴大階段則與電力系統中的脆弱環節有緊密的聯系，因此從整體預防的角度出發，通過大數據技術辨識電力網絡中的脆弱環節對提高電力系統的可靠性，降低大規模停電事故的發生概率有重要意義[37-38]。一個典型的基于大數據的電網災難預警系統框架如圖 8 所示[38]。該框架以電網拓撲數據、地理信息數據、電網運行數據為數據基礎，在算法模型層通過判據指標計算獲得判據指標庫，通過原因尋找引擎獲得原因分析樹，通過評價指標計算獲得評價指標庫。以此為基礎，在業務層通過薄弱區域識別、薄弱區域原因分析，并聯合判據層的評價指標庫，給出綜合預警結果[38]。

　　5 結論與展望

　　本文探討了大數據、云計算、智能電網三者之間的相互關系，并給出電力大數據的總體可執行框架，對電力企業大數據平臺的搭建具有參考價值。本文闡述了電力大數據平臺中 4 個核心的關鍵技術，即集成管理技術、分析技術、處理技術、展現技術。大數據的集成管理技術應該考慮關系型和非關系型數據庫技術的綜合應用，并重點考慮 NoSQL 數據庫技術;大數據的分析技術應從大數據的治理與抽樣、大數據特征選擇、大數據小數據化、大數據的分類算法、大數據挖掘并行化等方面開展研究;大數據的處理技術應根據具體的應用需求考慮分布式計算、內存計算、流處理等技術;電力大數據的數據展現技術可考慮可視化技術、空間信息流展示技術、歷史流展示技術等。文章最后的典型應用案例，對電力企業開展相關研究具有參考價值。

　　大數據技術可以在 5 個方面創造價值，分別是：創建透明度，讓利益相關方更加容易的獲取信息;通過試驗來發現需求，暴露可變因素并提高業績;根據客戶需求細分人群;通過自動化算法替換或者支持人為決策;創新商業模式、產品和服務。大數據技術在商業領域已經獲得較為廣泛的應用并創造出巨大的商業價值，但是在電力系統中的應用才剛剛起步，因此結合大數據的技術優勢和電力系統的應用需求，發揮電力大數據的價值，將為智能電網的建設帶來新的發展契機。電力企業應該牢牢抓住這個契機，從數據政策、人才培養、關鍵技術研發等層面，全面促成電力大數據技術的發展。

　　參考文獻

　　[1] Gartner.Top ten strategic technology trend for 2012 [EB/OL].(2011-11-05)[2014-08-17].http://www.gartne r.com.

　　[2] Birney E.The making of ENCODE：lessons for big-data projects[J].Nature，2012(489)：49-51.

　　[3] 張東霞，苗新，劉麗萍，等.智能電網大數據技術發展研究[J].中國電機工程學報，2015，35(1)：2-12. Zhang Dongxia，Miao Xin，Liu Liping，et al. Research on development strategy for smart grid big data[J].Proceedings of the CSEE，2015，35(1)：2-12(in Chinese).

　　《面向智能電網應用的電力大數據關鍵技術》來源：《中國電機工程學報》，作者：彭小圣 1 ，鄧迪元 1 ，程時杰 1 ，文勁宇 1 ，李朝暉 1 ，牛林 2