泛在電力物聯(lián)網(wǎng)下的大數(shù)據(jù)及其特點:
隨著互聯(lián)網(wǎng)與信息技術(shù)的發(fā)展,人們每天創(chuàng)造的數(shù)據(jù)成幾何級數(shù)增長,譬如2018年全球的數(shù)據(jù)總量為35ZB,全球數(shù)據(jù)的增長速度為每年40%左右,預(yù)計到2020年全球的數(shù)據(jù)總量將達(dá)到44ZB。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)處理軟件已經(jīng)無法勝任海量數(shù)據(jù)存儲及數(shù)據(jù)處理。
在這樣的背景下,大數(shù)據(jù)成為學(xué)術(shù)界和工業(yè)界的研究及應(yīng)用熱點。大數(shù)據(jù)一詞早出現(xiàn)在Apache Nutch開源項目中,其對大數(shù)據(jù)定義為“對網(wǎng)絡(luò)搜索索引進行更新而需要批量處理或分析的大量數(shù)據(jù)集”。在2011年,《Science》的“Dealing with Data”專刊中指出,大數(shù)據(jù)的發(fā)展和使用將會對社會的發(fā)展起到巨大推動作用,各個國家開始重視大數(shù)據(jù)的應(yīng)用,大數(shù)據(jù)的研究開始蓬勃開展。自2012年以來,我國相繼出臺了一系列政策支持大數(shù)據(jù)的發(fā)展與應(yīng)用,并于2015年在貴陽市建立起全球家大數(shù)據(jù)交易所,2018總書記在2018中國大數(shù)據(jù)產(chǎn)業(yè)博覽會的賀信中指出:“把握好大數(shù)據(jù)發(fā)展的重要機遇,促進大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展,處理好數(shù)據(jù)安全、網(wǎng)絡(luò)空間治理等方面的挑戰(zhàn),需要各國加強交流互鑒、深化溝通合作”,積推進和部署國家大數(shù)據(jù)戰(zhàn)略。國網(wǎng)公司早在2017年就提出“大云物移智鏈”信息化戰(zhàn)略,大數(shù)據(jù)屬信息化項工作的重要組成部分,在2018年電網(wǎng)中接入智能電表等各類終端5.4億臺(套),采集數(shù)據(jù)日增量超過60TB,在配網(wǎng)運檢、能耗管理、用戶服務(wù)上提供了良好的支撐。
泛在電力物聯(lián)網(wǎng)數(shù)據(jù)包括發(fā)、輸、變、配、用、調(diào)度六大環(huán)節(jié),從數(shù)據(jù)的來源可以簡單將電網(wǎng)數(shù)據(jù)分為電網(wǎng)內(nèi)部數(shù)據(jù)和電網(wǎng)外部數(shù)據(jù)。電網(wǎng)內(nèi)部數(shù)據(jù)主要指來自于電網(wǎng)內(nèi)部系統(tǒng),如用采系統(tǒng)、營銷系統(tǒng)、廣域檢測系統(tǒng)、生產(chǎn)管理系統(tǒng)、能量管理系統(tǒng)、客戶服務(wù)系統(tǒng)、財務(wù)系統(tǒng)等數(shù)據(jù)。電網(wǎng)外部數(shù)據(jù)來源于GIS供應(yīng)商、天氣、授時、政府等外部服務(wù)數(shù)據(jù)。從數(shù)據(jù)變化的頻率上,數(shù)據(jù)也可以分為動態(tài)數(shù)據(jù)和靜態(tài)數(shù)據(jù),動態(tài)數(shù)據(jù)主要包括運行數(shù)據(jù)、營銷數(shù)據(jù)等,靜態(tài)數(shù)據(jù)主要包括一些如CMDB的元數(shù)據(jù)等。泛在電力物理網(wǎng)大數(shù)據(jù)擁有volume(巨量數(shù)據(jù))、varity(類型多樣)、velcity(運算高效)、value(產(chǎn)生價值)的4V特性,其還有如下特點:
1)數(shù)據(jù)多源異構(gòu)性:
由于壁壘和歷史原因,在泛在電力物聯(lián)網(wǎng)中,同一份數(shù)據(jù)的來源存在多源性特點,比如用戶數(shù)據(jù)可能來源于用戶采集系統(tǒng)、電力營銷系統(tǒng)、生產(chǎn)管理系統(tǒng)等。這些系統(tǒng)間的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)內(nèi)容存在較大差異性,同一個字段可能有不同的含義、精度、描述方式。如何有效地篩選并且清洗相關(guān)的數(shù)據(jù),是構(gòu)建泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)的基礎(chǔ);
2)數(shù)據(jù)時間粒度離散:
電網(wǎng)常見數(shù)據(jù)既有用戶采集系統(tǒng)(SCADA)這種“秒”粒度的數(shù)據(jù),也有智能電表“分鐘”粒度的數(shù)據(jù),也有電氣設(shè)備“小時/天”粒度的數(shù)據(jù),甚至于某些監(jiān)控系統(tǒng)的數(shù)據(jù)粒度達(dá)到“毫秒”級別。如何分析這些多維度、粒度離散的數(shù)據(jù),找出這些數(shù)據(jù)的內(nèi)在關(guān)聯(lián),進行數(shù)據(jù)關(guān)聯(lián)挖掘分析,實現(xiàn)業(yè)務(wù)價值,是泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)建設(shè)的關(guān)鍵。
3)地理空間及業(yè)務(wù)空間跨度大:
空間跨度大有2個方面內(nèi)容,一方面是指電網(wǎng)空間跨度,基于地理數(shù)據(jù)(GIS)維度,如從西藏到上海,強調(diào)與電網(wǎng)規(guī)劃、區(qū)域發(fā)展、綜合能源網(wǎng)、需求響應(yīng)之間的關(guān)系;
另一方面,是指電網(wǎng)層級復(fù)雜,基于電網(wǎng)結(jié)構(gòu)的電網(wǎng)空間維度,如從輸電線、變電站到臺區(qū),終用戶智能表等,強調(diào)與電網(wǎng)運行、資產(chǎn)管理之間的關(guān)系。如何有效地對這些數(shù)據(jù)分層進行組織,利用好這些數(shù)據(jù),是泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)建設(shè)的另一個關(guān)鍵。
4)隱私保護及數(shù)據(jù)安全性:
部分電力大數(shù)據(jù)涉及到關(guān)系政務(wù)民生的重要數(shù)據(jù)(臺區(qū)信息、用電數(shù)據(jù)),且留存有用戶的敏感信息(戶名、身份證號),數(shù)據(jù)敏感度高,需要有較高的安全防護要求,對于用戶隱私的保護和合理使用提出了更高的要求。如何在保障用戶隱私的情況下,安全存放、流轉(zhuǎn)并使用相關(guān)的數(shù)據(jù),是泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)的準(zhǔn)繩。