發布時間：所屬分類：電工職稱論文瀏覽：1次
摘 要： 摘 要：為解決用電信息采集系統中數據高頻上報引起的通信及存儲問題，首先通過協議分析將遠程通信報文的冗余性分為了幀間冗余、模式冗余以及編碼冗余，并分別采用報文預處理方法、LZ77 算法與 Huffman 算法壓縮其冗余;然后針對單種算法無法同時對報文的三種冗余進行壓
摘 要：為解決用電信息采集系統中數據高頻上報引起的通信及存儲問題，首先通過協議分析將遠程通信報文的冗余性分為了幀間冗余、模式冗余以及編碼冗余，并分別采用報文預處理方法、LZ77 算法與 Huffman 算法壓縮其冗余;然后針對單種算法無法同時對報文的三種冗余進行壓縮的問題，通過對三種冗余各自的特性及相互間關系的分析，提出了一種組合壓縮的方式，實驗結果表明，該方法可以有效的縮短遠程通信報文的長度，從而減少存儲消耗、提高網絡的傳輸效率。
關鍵詞：用電信息采集;遠程通信報文;冗余性分析;數據壓縮;組合壓縮
0 引 言
在智能電網中，用電信息采集系統(以下簡稱用采系統)對分析用戶用電行為以及電網運行狀態具有重要意義。用電信息監測最重要的是實現無間斷的用電信息采集與遠程通信，遠程通信指用電信息采集系統中采集終端(下文稱終端)與采集主站(下文稱主站)之間的數據傳輸。現階段實際在運的用采系統的遠程通信，多采用 GPRS/CDMA、專用 230MHz 等無線通信方式進行數據傳輸[1]，高強度的監測意味著采集系統會對下屬的終端節點進行全天候的數據采集與監控，用電信息的高頻率上報會產生大量的數據積壓，從而對無線傳輸造成嚴重的通信負荷。
數據壓縮技術可對數據量進行有效的壓縮，以減少存儲空間，提高信息數據傳輸、存儲和處理的效率[2]。目前數據壓縮技術已經廣泛應用于視頻、圖像、語音等業務。在電力系統中，各類壓縮算法的應用也已經有了先例[3-8]。文獻[6]針對電力系統數據周期性的特點，選用合適的小波基將電力數據變換到小波域，然后對高頻和低頻部分分別進行編碼以實現高效壓縮。文獻[7]針對電力系統故障信號波形在特定時間段內的自相似性，提出了一種基于分形插值的數據壓縮與還原算法，有效的提升了故障錄波數據的壓縮倍數。文獻[8]充分利用了電力系統波形數據的周期性、有界性和冗余性特點，在 DSP 平臺上實現了波形數據的高效壓縮。然而，上述方法都是針對理論上的單一變量的連續測量數據或者波形數據進行壓縮，而在實際用電信息采集與通信過程中，傳輸的不僅有單一的連續電壓值或者電流值，還需加入召測、控制等協議信息以組成封裝好的數據報文。因此，研究適合實際應用的用電信息采集系統遠程通信報文的壓縮方法以降低海量報文數據中存在的冗余信息，最大程度地降低數據傳輸與存儲壓力已經成為電力行業的迫切需要。
用采系統分為終端采集系統，遠程傳輸系統和采集主站三大部分，考慮到大量的用電數據通過終端采集上報給主站會對公網的傳輸造成巨大的壓力，因此，文中首先詳細分析了數據報文冗余性的產生來源，以此為基礎對其進行針對性壓縮。由于用采系統遠程通信報文通信協議包含控制、互操作等信息，在壓縮和恢復的過程中不能對報文結構與內容的完整性產生影響。因此將采用無損壓縮方式對報文進行處理。然后，針對數據報文的三種冗余來源：幀間冗余、模式冗余以及編碼冗余，分別采用報文預處理、LZ77 算法、Huffman 算法對數據報文進行壓縮，并在此基礎上提出了一種組合壓縮的方式，實驗證明該方法可以最大限度壓縮報文長度，提高傳輸效率。
1 用采系統遠程通信報文結構與冗余分析
1.1 用采系統遠程通信報文結構
主站與終端進行數據傳輸需要遵循一定的通信協議，通信協議約定了通訊雙方在接收報文時的數據格式、編碼方法以及傳輸規則。以圖 1 所示國家電網公司 Q/GDW 1376.1-2013 協議(下文簡稱 376.1 協議)報文幀結構為例，可見主站與終端的各種交互及上報信息均以幀為基本組成單位，由多個字節嚴格按照協議規定順序排列組成。幀中各個域的長度與含義詳見文獻[9]。
1.2 用采系統遠程通信報文冗余分析
數據能夠被壓縮的前提條件是數據報文內部與報文之間存在的冗余性。首先，報文必須按規定幀格式通信意味著報文結構間存在一定的相似性(幀間冗余);其次，由于通信協議對于數據的編碼方式是固定的，因此報文中重復上報的信息(時間信息)會被編碼成許多重復的字符串(模式冗余);最后，每幀數據報文中各個域的值由上報節點當前物理狀態直接決定，因此編碼之后的報文在信息學上也必然存在著冗余(編碼冗余)。
幀間冗余體現在數據報文之間結構的相似性上，由于通信協議嚴格規定了數據報文各個域的組成方式，因此一段時間之內從某個固定的采集終端上報給主站的所有報文中必然有一些信息(如終端地址信息)是相同的。表 1 是一個固定的終端節點在一天內發出的所有通信報文的一部分(采用國家電網 DL/T 698.45-2017[10]協議，下文稱 698 協議)。
376、698 等通信協議實現了對用戶數據的封裝，通過加入幀頭、幀尾、地址、長度等校驗信息可以對數據報文進行有效的差錯控制，因此也可以在近距離通信中直接應用于鏈路層。但當通過遠程傳輸系統來傳輸時，報文實際上是作為遠程傳輸系統通信協議應用層載荷加載到通信協議棧中，由遠程通信協議棧負責可靠傳輸。因此重復發送地址、幀頭、幀尾等校驗信息就失去了糾錯意義，對于信息存儲與傳輸是冗余的，可以適當減少發送次數。根據 698 協議規定，可將每幀報文寫成通用的格式： 68+長度校驗+控制碼+地址+幀頭校驗碼+鏈路用戶數據+校驗碼+16，由于表 2 中的報文來自于同一終端節點，因此每幀數據用來表示地址的字節都相同，上述數據中終端地址表示位是從第 5 個字節開始，內容為05 84 23 00 00 20 15 00，一共8個字節，同時，幀頭與幀尾標識符對于每幀數據報文都是固有的并且出現的位置固定，因此可以在傳輸過程中忽略。
模式冗余是指由于節點重復上報與通信協議編碼方式固定導致的在報文內部形成的大量重復的字符串。如終端在上報某些電能信息之前總是會將當前的時間一同上報，于是相同的時間標識就會形成一種固定的“模式”在報文中多次出現，具體表現如表 2 所示。
編碼冗余可用信息論中“信息熵”的概念來說明。每條數據的“熵”值越小，代表該數據包含的信息量越少。而信息量少，證明可以使用更少的二進制位來表示該條報文。
可見，理論上完整表示該幀報文只需要 494 個二進制位，而實際上在傳輸過程中卻需要花費 87*8=694 個二進制位來表示該幀報文，因此從報文的整體內容來看，可以通過降低高頻字符的二進制表示位數來對報文進行壓縮。
2 用電信息壓縮算法及其實現原理
由第二節的分析可以看到，幀間冗余、模式冗余以及編碼冗余是對用電信息遠程通信報文壓縮的可行性基礎，文中針對這三種冗余分別進行處理，以達到縮短報文長度，減少數據傳輸量的目的，整體的處理流程如圖 2 所示。
2.1 幀間冗余壓縮
根據第二節對報文幀間冗余的分析，當報文數據來自于同一個采集終端時，幀頭、幀尾標識以及經過通信協議編碼后的地址信息都相同。當通過遠程傳輸進行通信時，去除重復信息對于報文的存儲與傳輸沒有影響。因此在對報文進一步壓縮之前，先進行預處理，去除重復發送的幀頭、幀尾以及地址信息，可以消除幀間冗余。由于模式冗余一般出現在報文的鏈路用戶數據區域，預處理操作并不會影響到這個區域的數據，而編碼冗余只與報文內部字符出現的頻率相關，只要報文內部每個字符出現的頻率不符合均勻分布，編碼冗余是一定存在的，因此對報文進行預處理操作并不會影響報文的其他冗余性。
2.2 模式冗余壓縮
由第二節分析可知，模式冗余表現為報文內部形成的大量重復字符串。LZ77 算法對于存在大量重復內容的文件有良好的壓縮效率，因此文中將用 LZ77 算法來消除報文中存在的模式冗余。LZ77 編碼方法是基于字典的無損壓縮算法，它的核心思想是基于數據結構的重復，在編碼過程中通過在已經出現的數據中查找重復出現的內容來去除這種冗余，以此實現數據的壓縮。
2.2.1 LZ77 算法的編碼
LZ77 算法將數據中重復出現的長字符串用字典索引來表示，這需要一個滑動窗口，它包括兩部分，分別為搜索緩沖區以及前向緩沖區。在編碼時首先將文件中的字符讀入滑動窗口中的前向緩沖區中，然后再通過搜索緩沖區。搜索緩沖區中的數據作為建立字典索引的依據，前向緩沖區中的數據與搜索緩沖區中的數據進行比較，查找最長的字符串匹配。編碼流程圖如圖 3 所示：
2.2.2 LZ77 算法的解碼
LZ77 算法的解壓縮過程同樣需要用到滑動窗口，窗口大小與編碼時的搜索緩沖區長度相同，通過解碼標記和保持滑動窗口中的符號來更新解壓數據。當解碼單個字符標記時，將標記解碼成字符拷貝到滑動窗口中，解碼元組標記時，在滑動窗口中查找相應的偏移量，同時找到指定長度的字符串進行替換。
2.3 編碼冗余壓縮
由第二節分析可知，只要報文中字符出現頻率不符合均勻分布，就會存在編碼冗余。而 Huffman 編碼可以根據使用頻率最大化節省字符的存儲空間，因此我們用 Huffman 算法來消除報文中存在的編碼冗余。Huffman 是變長編碼方法，以數據中各個字符出現概率的大小為基礎對字符賦予不同長度的代碼,是一種優化靜態編碼方法，產生的二叉樹具有最小的加權長之和∑𝑊𝑗𝐿𝑗，其中𝑊𝑗表示某個符號出現的頻率，𝐿𝑗表示該字符的編碼長度。
(3)重復步驟(2)，直到森林中只剩下一棵樹。
Huffman 算法根據構建的 Huffman 樹來對字符進行編碼，在 Huffman 樹中，待編碼字符必定是葉子節點，編碼從根節點開始依次尋找葉子節點，在樹有了分叉時，向左的路徑記為代碼 0，向右的記為代碼 1，直至找到原始的文件的字符，即實現了對該字符的編碼。
2.3.2 Huffman 算法的解碼
Huffman 算法解碼需要利用 Huffman 樹，因此，在壓縮文件時必須要將構建 Huffman 樹的一些必要的統計信息(字符總數，每個字符出現的頻率)寫入壓縮文件中，這樣才能完成解壓。解壓過程是壓縮過程的反操作，首先根據讀取的壓縮文件的二進制數據流，開始遍歷 Huffman 樹，從根節點開始，當讀取到 0 時，取根節點的左子樹，讀取到 1 的時候，取根節點的右子樹，然后重復上述操作，直到訪問到的節點是一個葉子節點，讀取該葉子節點表示的字符，即完成一個字符的解碼。
3 仿真實驗及結果分析
為驗證前文的冗余性分析及壓縮方法，我們在真實的用電采集系統采集的數據上進行了測試，并進一步探究了 LZ77 算法中搜索區域長度與前向緩沖區長度對報文壓縮比例的影響，分析了各個長度范圍內數據報文壓縮的最佳參數組合。之后在單種算法壓縮的基礎上，通過對三種冗余各自的特性與相互關系的分析，提出了一種組合壓縮方式來進一步提升壓縮效果。
3.1 使用 Huffman 算法消除編碼冗余
本節使用的數據來自國家電網某省公司主站真實采集的符合 376.1 協議專變上行數據報文，共含有 10000 條數據報文。我們首先對所有數據報文的長度做了統計，如圖 4 所示。可見大量數據報文集中在[0, 50)，[50, 100)和[250, 300)這三個長度區間。
在得到整體報文長度分布之后，使用 Huffman 算法對每一個長度范圍內的所有數據報文進行壓縮并統計平均壓縮比例，得到的結果如表 5 所示。可以看到，Huffman 算法對于長度范圍處在[450, 500)范圍內的報文有著最好的壓縮效果，而對于長度范圍為[0, 50)的數據并沒有起到壓縮效果，原因在于 Huffman 編碼需要在編碼的同時寫入字符的統計信息，對于長度很短的報文來說，存儲字符統計信息所需要的存儲空間與原有報文所占用的存儲空間基本相同，這在很大程度上會影響 Huffman 編碼的效果。而除了[0, 50)長度范圍內的短報文，其他所有長度范圍內的報文都能被有效壓縮。
3.2 使用 LZ77 算法消除模式冗余
由于 LZ77 算法的緩沖區長度對于壓縮效果有極大影響，因此文中就兩個窗口長度對報文壓縮比例的影響進行了探究。由于所使用的數據報文最長的長度沒有超過 500 個字節(1000 個字符)，因此先將搜索緩沖區的長度設定為最長報文長度的一半(500 個字符)，改變前向緩沖區的長度對每條報文進行壓縮，得到各個長度范圍內數據報文的平均壓縮比例隨前向緩沖區長度變化的曲線如圖 5 所示。
分別設置 10 種(10~100，步長為 10)不同的前向緩沖區長度進行試驗，從實驗結果可以明顯看出，除了長度范圍在[0, 50)和[50, 100)的數據報文的壓縮比例呈現一個整體上升的趨勢之外，其他幾個長度范圍的數據報文的最佳壓縮比例對應的前向緩沖區長度均為 30 個字符。為了驗證前兩種長度范圍的報文在前向緩沖區長度為 10 個字符時是否已經達到了最佳的壓縮比例，對這兩種長度范圍的報文多增加了 5 種(2~10 步長為 2)前向緩沖區的長度并進行實驗。長度范圍在[0, 50)的報文在前項緩沖區長度達到 4 個字符的時候壓縮率最低，長度范圍在[50, 100)的報文在長度為 8 的時候壓縮率最低。由于 LZ77 算法的思想是使用三元組來表示源文件中重復出現的字符信息，存儲三元組同樣需要存儲空間，前向緩沖區的長度越長，意味著三元組中用于存儲該長度的二進制表示位越多，維護字典的開銷也就越大。只有當前向緩沖區長度與文件中前后文能匹配到的最長字符串長度大致相同時， LZ77 算法才能達到最佳的效率。
根據上述實驗結果，將每個長度范圍內報文的前向緩沖區設置為對應的最佳長度，然后分析搜索緩沖區長度對于數據報文壓縮比例的影響，得到的實驗結果如圖 6 所示。
分別設置 20 種(0~100 步長為 10 與 100~1000 步長為 100)搜索緩沖區長度。搜索緩沖區長度代表著在多大的搜索空間中進行查找與匹配，理論上搜索空間長度越大，匹配到重復信息的可能性也越大，壓縮效果也越好，但是從實驗結果來看，每個長度范圍內的數據報文都存在著最佳的搜索緩沖區長度，是因為在增加搜索緩沖區長度的同時也增加了三元組存儲的成本，當壓縮文件較小或者重復信息出現較為密集時，一味增加搜索緩沖區的長度并不能很好的提升壓縮效果，反而會增加三元組的存儲消耗。因此如何使用最小的搜索緩沖區長度來達到最高的壓縮效率才是問題的關鍵。從實驗結果可以看到，當前向緩沖區長度和搜索緩沖區長度均達到最優時，LZ77 算法對于任何一種長度范圍的報文都可以達到壓縮的效果，各個長度范圍的報文使用 LZ77 算法能達到的最優壓縮效果與對應的兩個緩沖區長度如表 6 所示。
在得到每個長度范圍內的報文最佳壓縮比例之后，我們將 LZ77 算法與 Huffman 算法做了一個比較，結果如圖 7 所示。其中，圓標線表示 Huffman 算法的壓縮結果，星標線代表 LZ77 算法的壓縮結果，可以看到 LZ77 算法整體優于 Huffman 編碼，而且對于較短的數據報文 LZ77 算法依舊可以起到壓縮效果。但在長度范圍為[400,450)范圍內， Huffman 壓縮的效果要優于 LZ77，通過進一步分析，該范圍內的報文中包含大量的連續字符‘0’，而且連續長度遠遠超出了設定的前向緩沖區長度 30 (最長為 140 個字符)，但是報文前后文中并沒有像其他報文一樣出現明顯重復的時間信息，重復信息分布過于集中，這種情況下 LZ77 算法相當于只對報文中某一塊區域起到了壓縮效果，對其他區域卻起不到壓縮效果。而 Huffman 算法是基于報文內部字符的統計信息進行壓縮，并不注重報文的內部結構，因此針對這種情況，Huffman 算法有著更好的壓縮效果。
3.3 用電信息采集遠程通信報文組合壓縮探究
由于數據報文的三種冗余性之間是相互獨立的，單種算法無法同時消除所有的冗余，為了進一步提升報文的壓縮效果，文中采用組合壓縮的方式對報文冗余性進行全面消除。根據第三節的分析，報文預處理并不會對另外兩種冗余性產生影響，因此將其置于組合壓縮中的第一步，考慮到 Huffman 編碼會暫時破壞目標文件的內容與結構，如果先進行 Huffman 編碼會使得報文的模式冗余得不到有效處理，因此本文在對報文預處理之后首先使用 LZ77 編碼再使用 Huffman 編碼來對報文進行組合壓縮，組合壓縮流程如圖 8 所示。
實驗所用的數據是來自于一個終端節點一天之內上報的所有數據報文，通信協議是 698 協議，該數據集中統計了 2019 年 8 月 5 日某終端節點上報的 17641 條數據報文，文中對整個數據文件進行壓縮處理并將各個階段的處理結果與壓縮結果進行了統計，結果如表 7 所示。
為了進一步驗證組合壓縮順序對壓縮結果的影響，本文交換了 LZ77 編碼與 Huffman 編碼順序后從新測試，各個階段的處理結果與壓縮結果如表 8 所示。可以看到交換編碼順序后的壓縮結果遠遠比不上交換之前的結果。
4 結束語
智能電網需要以大量用戶用電數據分析為基礎，隨著采集終端的泛在化及采集頻率的提高，各終端上報的數據量將大大增加，對數據傳輸與存儲造成嚴重負擔。通過壓縮算法來降低數據報文的數據量，提高網絡傳輸效率是電力行業一個亟待解決的問題。文中通過對用采系統遠程通信報文的分析，從報文的幀間冗余、模式冗余以及編碼冗余三個方面討論了數據報文可以被壓縮的現實基礎，并有針對性的使用三種方法來消除三種冗余。結果表明， Huffman 算法可以有效消除編碼冗余，但是其在數據報文較短(<50B)的情況下起不到壓縮效果; LZ77 算法可以有效的消除模式冗余，當報文中含有大量重復上報的信息時，LZ77 算法相較于 Huffman 算法可以達到更好的壓縮效果。文中同時對 LZ77 算法中兩種緩沖區的長度對于報文壓縮比例的影響做了相應探究，找到了每個長度范圍內報文的最佳壓縮參數。由于單種算法無法同時消除報文的三種冗余，因此通過對三種冗余各自的特性及相互之間的關系分析，設計了具有時間順序的組合式壓縮方法，得到了更好的壓縮結果。通過對數據報文的壓縮可以極大的縮短報文的傳輸時間，提高傳輸效率，降低存儲資源消耗，在為用電企業降低成本的同時，為智能電網的多種應用提供有力的保障。——論文作者：鄭國權 1，竇健 1，盧繼哲 1，郄爽 1，葉方彬 2，胡浩星 3
參 考 文 獻
[1] 郭志華, 王作政, 厲娜, 等. 多種通信方式在青海電網用電信息采集系統中的應用與實踐[J]. 青海電力, 2016, 35(4): 14-17. Guo Zhihua, Wang Zuozheng, LI Na, et al. Application and practice of various communication modes in electricity information acquisition system of Qinghai electric power network[J]. Qinghai Electric Power, 2016, 35(4): 14-17.
[2] 王健. 探討數據壓縮在用電信息采集遠程通信中的應用[J]. 通訊世界, 2017, 0(13): 181-182. Wang Jian. Exploring the application of data compression in remote communication of electricity information collection[J]. Telecom Worldm, 2017, 0(13): 181-182.
[3] 馬士強, 鄭常寶, 曾野, 等. 基于信號周期相似性和 LZW 編碼的數據壓縮方法[J]. 電測與儀表, 2014, 51(06): 95-100. Ma Shiqiang, Zheng Changbao, Zeng Ye. et al. Data Compression Based on Signal Periodic Similarity and LZW Encoding[J]. Electrical Measurement & Instrumentation, 2014, 51(06): 95-100.
[4] 于華楠, 代芳琳, 鄒瀟. 三相電能質量擾動信號壓縮方法研究[J]. 電測與儀表, 2014, 51(23): 60-63. Yu Huanan, Dai Fanglin, Zou Xiao. Research on Three-Phase Power Quality Disturbance Signal Compression Method[J]. Electrical Measurement & Instrumentation, 2014, 51(23): 60-63.
[5] 鄢海舟, 胥布工, 李海濱, 等. 小波去噪與壓縮在電廠設備中的應用[J]. 電測與儀表, 2017, 54(11): 110-115. Yan Haizhou, Xu Bugong, Li Haibin, et al. Application of wavelet denoising and compression in the equipment of power plant[J]. Electrical Measurement & Instrumentation, 2017, 54(11): 110-115.
[6] 許曉飛, 陳亮. 應用整數小波變換的 LZ77 電力數據壓縮算法[J]. 西北紡織學院學報, 2018, 32(3): 337-342. Xu Xiaofei, Cheng Liang. LZ77 power data compression algorithm based on integer wavelet transform[J]. Journal of Xi’an Polytechnic University, 2018, 32(3): 337-342.