發(fā)布時間：所屬分類：計算機職稱論文瀏覽：1次
摘 要： 摘要: 為了提高電網(wǎng)數(shù)據(jù)處理的安全性和效率，提出基于 Hadoop 的智能電網(wǎng)時序大數(shù)據(jù)處理方法。依據(jù)智能電網(wǎng)時序大數(shù)據(jù)簡析，結(jié)合 Map、Reduce 及 Partition 三個函數(shù)具備的過濾器和工廠法以及監(jiān)聽器等一系列模式，實現(xiàn)數(shù)據(jù)清洗處理。依據(jù)分布式計算思想，結(jié)合近鄰分類
摘要: 為了提高電網(wǎng)數(shù)據(jù)處理的安全性和效率，提出基于 Hadoop 的智能電網(wǎng)時序大數(shù)據(jù)處理方法。依據(jù)智能電網(wǎng)時序大數(shù)據(jù)簡析，結(jié)合 Map、Reduce 及 Partition 三個函數(shù)具備的過濾器和工廠法以及監(jiān)聽器等一系列模式，實現(xiàn)數(shù)據(jù)清洗處理。依據(jù)分布式計算思想，結(jié)合近鄰分類法和 Map - Reduce 模型設(shè)計的并行分類混合法，實現(xiàn)數(shù)據(jù)分類處理。對分類數(shù)據(jù)進行安全存儲，通過消息摘要算法針對需要存儲的智能電網(wǎng)時序大數(shù)據(jù)生成相應(yīng)數(shù)字摘要; 根據(jù)密鑰生成函數(shù)獲取隨機密鑰，同時利用上述密鑰針對待存儲數(shù)據(jù)實行加密，獲取對應(yīng)密文。針對獲取的隨機密鑰實行信息隱藏處理; 把密文存儲至云中; 當(dāng)密文成功存儲至云之后，把獲取的密鑰和數(shù)字摘要兩種信息并同文件名至 HBase 中，實現(xiàn)數(shù)據(jù)存儲。仿真結(jié)果表明，上述方法具有較強的安全性與時效性。
關(guān)鍵詞: 智能電網(wǎng); 時序大數(shù)據(jù); 處理
1 引言
分布全網(wǎng)的各種類型信息數(shù)據(jù)采集裝置生成了大規(guī)模時序數(shù)據(jù)，關(guān)于此類數(shù)據(jù)的存儲、處理等均面臨著嚴(yán)峻的挑戰(zhàn)[1 - 3]。由此，針對智能電網(wǎng)中的時序大數(shù)據(jù)進行高效處理有著十分關(guān)鍵的作用和重要的意義。
曲朝陽[4]等人將 Spark 應(yīng)用至電力設(shè)備監(jiān)測數(shù)據(jù)可視化處理中。過程中，以快速提取大數(shù)據(jù)環(huán)境下電力監(jiān)測數(shù)據(jù)整體狀態(tài)信息為目的，基于 Spark 大數(shù)據(jù)計算平臺，設(shè)計并構(gòu)建了設(shè)備狀態(tài)評價指標(biāo)體系和模糊 C 均值聚類算法下的電力設(shè)備狀態(tài)數(shù)據(jù)提取法。對數(shù)據(jù)具備的多維和時序等特征，構(gòu)建三維平行散點圖，實現(xiàn)數(shù)據(jù)可視化展示，完成電力設(shè)備狀態(tài)信息可視化處理。喻宜[5]等人以解決電力大數(shù)據(jù)背景下大規(guī)模時序數(shù)據(jù)無法高效處理的問題為目的，結(jié)合當(dāng)前分布式技術(shù)框架設(shè)計并構(gòu)建真正意義上的 GAIA 大規(guī)模時序數(shù)據(jù)管控平臺，以此保障系統(tǒng)具備穩(wěn)定性與可靠性。根據(jù)具備可配置層次關(guān)系架構(gòu)的模型中心解決大規(guī)模測點管控問題。依據(jù)時間分片和事件驅(qū)動下前置數(shù)據(jù)采集平臺解決大規(guī)模終端實時數(shù)據(jù)采集處理問題。張宇航[6]等人指出，智能電網(wǎng)具備的數(shù)字化建設(shè)能夠提供大規(guī)模數(shù)據(jù)信息，深度學(xué)習(xí)發(fā)展能夠為數(shù)據(jù)價值提取提供可靠途徑。在研究過程中，先對深度學(xué)習(xí)發(fā)展史和基礎(chǔ)結(jié)構(gòu)進行分析，并歸納了深度學(xué)習(xí)理論基礎(chǔ)與技術(shù)體系; 然后與電力系統(tǒng)實際需要相結(jié)合，將圖像數(shù)據(jù)和時空數(shù)據(jù)了兩種類型的數(shù)據(jù)當(dāng)作基礎(chǔ)，綜合描述了深度學(xué)習(xí)在電力數(shù)據(jù)處理中的應(yīng)用和具體價值，同時給出了一些相關(guān)發(fā)展建議。
電網(wǎng)時序數(shù)據(jù)具有規(guī)模大、實時性要求高和訪問方式多變等特點，對其進行處理需要注意的點比較多，其中包含安全性、效率。為此，提出基于 Hadoop 的智能電網(wǎng)時序大數(shù)據(jù)處理方法。
2 基于 Hadoop 的智能電網(wǎng)時序大數(shù)據(jù)處理
2. 1 智能電網(wǎng)時序大數(shù)據(jù)
實際生活中，智能電網(wǎng)時序大數(shù)據(jù)通常指的是根據(jù)設(shè)備或者儀表產(chǎn)生，利用傳感器進行采集，和某個對象或者設(shè)備存在具體關(guān)聯(lián)性，在事件上先后關(guān)聯(lián)的一類數(shù)據(jù)。詳細如圖 1 所示，其中包含的電壓等即為典型時序數(shù)據(jù)。
2. 2 數(shù)據(jù)清洗
在基于 Hadoop 的智能電網(wǎng)時序大數(shù)據(jù)處理方法中，大數(shù)據(jù)清洗是不可或缺的一個步驟。針對 Map 和 Reduce 及 Partition 三個函數(shù)均進行了精心設(shè)計，通過 xml 配置，實現(xiàn)對應(yīng)的清洗類動態(tài)收集和清洗規(guī)則設(shè)定等。
數(shù)據(jù)清洗過程中，Map 函數(shù)是該架構(gòu)中最為核心的部分，把數(shù)據(jù)由原始狀態(tài)清洗到可利用數(shù)據(jù)。Map 設(shè)計中使用了過濾器和工廠法以及監(jiān)聽器等一系列模式，能夠使清洗系統(tǒng)具備良好的擴展性。圖 2 為 Map 函數(shù)核心設(shè)計示意圖。
圖 2 中，LogProcess 類主要負責(zé) Map 階段基礎(chǔ)性的配置文件前期準(zhǔn)備以及使用方案調(diào)用 Handler 類，梳理實際數(shù)據(jù)處理邏輯。其中，Handler 類為處理邏輯中實際控制類，均需在 Map 階段初始化環(huán)節(jié)完成。實際處理過程中根據(jù) Handler 調(diào)用圖 2 中的流程部分完成: 利用 FilterChain 以相似管道的模式進行逐步解析與清洗，F(xiàn)ilterChain 主要作用為配置過濾條件。在 Map 設(shè)計過程中，所有類都使用了可配置方式，能夠基于實際數(shù)據(jù)清洗需求任意替換與修改。
在日志處理過程中，原始日志利用 JournalClean 類實現(xiàn)基礎(chǔ)處理，從而生成部分基礎(chǔ)字段，同時以 table 形式保存至 Journal，以此構(gòu)成 Journal 日志類，把該類在過濾器鏈中依據(jù)具體要求下的邏輯實行解析，生成最終所需字段，利用 JournalWriter 日志寫入相應(yīng)文件，將最終數(shù)據(jù)輸出。
2. 3 數(shù)據(jù)分類
依據(jù)分布式計算思想，解決智能電網(wǎng)時序大數(shù)據(jù)分類問題，根據(jù)近鄰分類法具備的優(yōu)勢，結(jié)合 Map - Reduce 模型和其融合設(shè)計一個并行的分類混合法—PCHA。
輸入: 要實現(xiàn) PCHA 算法，構(gòu)建接口提供 Map 函數(shù)與Reduce 函數(shù)，并表明輸入、輸出以及其它運行參數(shù)。利用輸入環(huán)節(jié)把大數(shù)據(jù)集合分解成若干個獨立的數(shù)據(jù)集合，便于接下來的處理，在此設(shè)置為M'份數(shù)據(jù)集合，提交至 JobTracker 之后，利用對應(yīng)的 TaskTracker 執(zhí)行任務(wù)。
Map: 在 Map - Reduce 模型中通常分解一個大數(shù)據(jù)集變?yōu)樾?shù)據(jù)集合，該環(huán)節(jié)是針對每一組分解數(shù)據(jù)集合的{ ke， va } 對實行映射操作，此時 TaskTracker 調(diào)用空閑數(shù)據(jù)資源執(zhí)行 Map 與 Reduce 任務(wù)。Map 過程重點是針對分類數(shù)據(jù)集合實行鍵值映射操作，任務(wù)基于各屬性規(guī)范化操作，同時依據(jù)重要性并獲得加權(quán)歐式距離結(jié)果，獲取( ( 節(jié)點，屬性) ，( 相似程度) ) 鍵值對，基于相似程度實現(xiàn)歸類。
Reduce: 該環(huán)節(jié)主要責(zé)任為遍歷所有 Map 環(huán)節(jié)處理之后生成的中間結(jié)果集合，依據(jù)同一( 節(jié)點，屬性) 值的排序和歸納，統(tǒng)一將( ( 節(jié)點，屬性) ，( 相似程度) ) 輸出，基于相似程度實現(xiàn)并行分類。
輸出: 該環(huán)節(jié)是和輸入環(huán)節(jié)相呼應(yīng)的，也就是功能為針對 Reduce 環(huán)節(jié)的輸出結(jié)果集合實行輸出操作，同時將輸出保存到指定位置，該環(huán)節(jié)獲取的即為 PCHA 算法運行所得的分類結(jié)果集合，方便下一步安全存儲處理。
2. 4 數(shù)據(jù)安全存儲
在基于 Hadoop 的智能電網(wǎng)時序大數(shù)據(jù)存儲處理中，根據(jù)云安全實現(xiàn)數(shù)據(jù)的安全存儲。因云安全核心為密碼技術(shù)與加固技術(shù)，由此能夠通過密碼技術(shù)保護智能電網(wǎng)時序大數(shù)據(jù)存儲具有保密性與完整性[9 - 10]。其中，摘要信息為消息簽名操作之后所得數(shù)據(jù)，密文為數(shù)據(jù)加密之后所得數(shù)據(jù)，密鑰信息為針對數(shù)據(jù)加密過程中用到的密鑰實行信息隱藏之后所得數(shù)據(jù)。
綜上，數(shù)據(jù)加密存儲的過程可表示以下幾步:
步驟 1: 生成摘要，通過消息摘要算法針對需要存儲的智能電網(wǎng)時序大數(shù)據(jù)生成相應(yīng)數(shù)字摘要。
步驟 2: 加密數(shù)據(jù)，根據(jù)密鑰生成函數(shù)獲取隨機密鑰，同時利用該密鑰針對待存儲數(shù)據(jù)實行加密，獲取對應(yīng)密文。
步驟 3: 隨機密鑰隱藏，針對上述獲取的隨機密鑰實行信息隱藏處理。
步驟 4: 存儲密文，把密文存儲至云中。
步驟 5: 保存有關(guān)信息數(shù)據(jù)，當(dāng)密文成功存儲至云之后，把上述步驟中獲取的密鑰和數(shù)字摘要兩種信息并同文件名至 HBase 中，實現(xiàn)數(shù)據(jù)保存。
隨機密鑰信息隱藏過程中，以解決對稱加密法密鑰管理相關(guān)問題為目的，要針對隨機密鑰實行信息隱藏操作。加密為一種非常高效的信息隱藏策略。由此，為了針對隨機密鑰實行信息隱藏處理，設(shè)計如圖 3 所示的密鑰隱藏策略。
在上述策略中，通過數(shù)據(jù)源具備的各種屬性和一個填充數(shù)即可生成摘要信息，然后利用 Hash 函數(shù)生成數(shù)據(jù)加密所需密鑰。其中，屬性中能夠包括用戶密碼數(shù)據(jù)，在用戶修改密碼之后，可以使隨機密鑰也隨之修改，無需重加密，能夠有效提升效率。
結(jié)合隨機填充數(shù)目的為避免字典攻擊與預(yù)先計算攻擊等安全問題。以增強保密性為目的，數(shù)據(jù)源屬性組合信息和詳細 Hash 應(yīng)事先保密。以變電站為例，該變電站屬性將 Substation 類屬 性 當(dāng) 作 標(biāo) 準(zhǔn)，設(shè)計的密鑰生成架構(gòu)如圖 4 所示。
為了 把 密 鑰、摘要兩種信息存儲至 HBase 中，對 表MetaTable 結(jié)構(gòu)進行設(shè)計。
其中，MetaTable 主要分為三列，分別為行關(guān)鍵字 RowKey 應(yīng)用至存儲文件名稱，時間戳 Timestamp 和列族 Metadata( 包括密鑰信息與摘要信息的保存標(biāo)簽) 。除此之外，針對無需進行加密的數(shù)據(jù)而言，使用 hiddenKey 是全 0 進行區(qū)分。
采用 HBase 主要原因為電網(wǎng)中的數(shù)據(jù)采集及存儲頻率均非常高，一般關(guān)系數(shù)據(jù)庫無法承受此種壓力。HBase 查詢效率不會隨著數(shù)據(jù)庫中的數(shù)據(jù)量規(guī)模變大降低，其為一個具有可伸縮性能的分布式存儲系統(tǒng)。
數(shù)據(jù)讀取過程為:
步驟 1: 數(shù)據(jù)讀取，在分布式文件系統(tǒng)中讀取密文，在 HBase 中將有關(guān)數(shù)據(jù)讀取出來。
步驟 2: 確定數(shù)據(jù)類型，基于密鑰信息，判斷分布式文件系統(tǒng)中數(shù)據(jù)需要解密與否。假設(shè)密鑰信息為 0，那么表明數(shù)據(jù)為明文，無 需 進 行 解 密，直 接 到 步 驟 4; 反 之，表 明 需 要解密。
步驟 3: 得到隨機密鑰，通過數(shù)據(jù)源屬性，也就是密鑰信息得到密 鑰，同時針對密鑰信息實行信息恢復(fù)獲取隨機密鑰。
步驟 4: 對數(shù)據(jù)進行解密，利用上述獲取的密鑰針對密文實行解密。
步驟 5: 對數(shù)據(jù)完整性進行檢查，生成密文數(shù)字摘要信息，同時和步驟 1 中的摘要信息進行對比，確定數(shù)據(jù)完整性。假設(shè)不一致，那么表示云中數(shù)據(jù)已經(jīng)被篡改; 反之，說明數(shù)據(jù)正常。
3 實驗結(jié)果與分析
為了驗證基于 Hadoop 的智能電網(wǎng)時序大數(shù)據(jù)處理方法有效性，進行一次實驗。實驗在某省電科院實驗室所搭建的 Hadoop 并行計算平臺上完成，該平臺由 23 個節(jié)點構(gòu)成。節(jié)點物理配置的 CPU 為 8 核、內(nèi)存為 32G，硬盤為 300G，網(wǎng)絡(luò)為千兆以太網(wǎng)。實驗過程中，文件備份為 3。
相關(guān)知識推薦：大數(shù)據(jù)方面的期刊雜志
實驗分別以 CPU 利用率和數(shù)據(jù)安全性為驗證指標(biāo)。其中，以驗證所提方法 CPU 利用率為目的，在大小不一的數(shù)據(jù)文件下開展實驗，為避免時間因素導(dǎo)致實驗結(jié)果帶來的主觀性，本次實驗將分別在三臺電腦上進行，并在規(guī)定時間內(nèi)進行檢測，測試時間為 19: 15 ～ 19: 33。依據(jù)智能電網(wǎng)數(shù)據(jù)量存在差異大的特性，分別取文件大小為 10MB、50MB、500MB 的條件下進行實驗，所得實驗結(jié)果如 6 所示。
分析圖 5 可知，基于 Hadoop 的智能電網(wǎng)時序大數(shù)據(jù)安全存儲處理與直接存儲耗時相差不大，表現(xiàn)出了良好的運行性能，存儲處理效率高。主要原因為數(shù)據(jù)存儲過程中網(wǎng)絡(luò)傳輸時間占據(jù)了主導(dǎo)地位，其它時間在數(shù)據(jù)量比較大時影響不是很大，且數(shù)據(jù)的清洗和分類均為高效率存儲奠定了基礎(chǔ)，有效提高了電網(wǎng)時序大數(shù)據(jù)存儲速度。
為進一步驗證本文方法的處理安全性，本次實驗將在 500MB 的數(shù)據(jù)文件中加入字典攻擊與預(yù)先計算攻擊，并設(shè)置攻擊數(shù)據(jù)和異常數(shù)據(jù)大小為 20MB，檢驗本文方法是否能夠有效、安全、準(zhǔn)確的查詢到系統(tǒng)原始數(shù)據(jù)，以此分析所提方法的安全性。實驗結(jié)果如表 1 所示。
由表 1 可知，所提方法可高效抵御攻擊，保障數(shù)據(jù)安全性。在數(shù)據(jù)加密存儲過程中，結(jié)合了隨機填充數(shù)目的為避免字典攻擊與預(yù)先計算攻擊等安全問題，并以增強保密性為目的，數(shù)據(jù)源屬性組合信息和詳細 Hash 也做了保密。
4 結(jié)束語
鑒于現(xiàn)實需求，提出基于 Hadoop 的智能電網(wǎng)時序大數(shù)據(jù)處理方法。在數(shù)據(jù)處理過程中，有效結(jié)合了數(shù)據(jù)清洗、分類、安全存儲幾個部分，并通過實驗對該方法進行測試，結(jié)果顯示，該方法抗攻擊性能強，且耗時少，是一種可行的電網(wǎng)數(shù)據(jù)處理方法。下一步可將跨節(jié)點計算并行化方面當(dāng)作重點進行研究，進一步提高數(shù)據(jù)處理效率。——論文作者：孫利宏
參考文獻:
[1] 賀紅燕. 基于大數(shù)據(jù)的智能電網(wǎng)關(guān)鍵技術(shù)研究[J]. 電源技術(shù)，2016，40( 8) : 1713 - 1714.
[2] 陳敬德，盛戈皞，吳繼健，等. 大數(shù)據(jù)技術(shù)在智能電網(wǎng)中的應(yīng)用現(xiàn)狀及展望[J]. 高壓電器，2018，54( 1) : 35 - 43.
[3] 葛磊蛟，王守相，瞿海妮. 智能配用電大數(shù)據(jù)存儲架構(gòu)設(shè)計[J]. 電力自動化設(shè)備，2016，36( 6) : 194 - 202.
[4] 曲朝陽，熊澤宇，顏佳，等. 基于 Spark 的電力設(shè)備在線監(jiān)測數(shù)據(jù)可視化方法[J]. 電工電能新技術(shù)，2016，35( 11) : 72 - 80.
[5] 喻宜，呂志來，齊國印. 分布式海量時序數(shù)據(jù)管理平臺研究[J]. 電力系統(tǒng)保護與控制，2016，44( 17) : 165 - 170.
[6] 張宇航，邱才明，楊帆，等. 深度學(xué)習(xí)在電網(wǎng)圖像數(shù)據(jù)及時空數(shù)據(jù)中的應(yīng)用綜述[J]. 電網(wǎng)技術(shù)，2019，43( 6) : 1865 - 1873.
[7] 李俊楠，李偉，李會君，等. 基于大數(shù)據(jù)云平臺的電力能源大數(shù)據(jù)采集 與 應(yīng) 用 研 究[J]. 電 測 與 儀 表，2018，56 ( 12 ) : 104 - 109.
[8] 余容，黃劍，何朝明. 基于 SM4 并行加密的智能電網(wǎng)監(jiān)控與安全傳輸系統(tǒng)[J]. 電子技術(shù)應(yīng)用，2016，42( 11) : 66 - 69.
[9] 張思佳，顧春華，溫蜜. 智能電網(wǎng)中的數(shù)據(jù)聚合方案分類研究[J]. 計算機工程與應(yīng)用，2019，55( 12) : 83 - 89.
[10] 張子棟，張杰敏，茅劍. 大數(shù)據(jù)處理警示性圖像顏色紋理特征選取仿真[J]. 計算機仿真，2019，36( 5) : 434 - 437，470.