DQZHAN技術(shù)訊：大數(shù)據(jù)分析技術(shù)在采集運維業(yè)務(wù)中的應(yīng)用研究

摘要： 近年來，隨著用電信息采集系統(tǒng)的大力推廣，用電信息采集規(guī)模日漸龐大，數(shù)據(jù)深化應(yīng)用不斷加強，對系統(tǒng)的運行維護工作也隨之?dāng)U大，迫切的運維需求與落后的運維能力不匹配等問題逐漸凸顯出來。 文章提出運用大數(shù)據(jù)多維分析技術(shù)，從異常工單智能化派發(fā)、異常工單智能處理和采集運維多維度質(zhì)量評價 3 方面入手，對整體采集運維工作進行優(yōu)化，從而提升整體運維效率和質(zhì)量，提高管理水平。

關(guān)鍵詞： 采集運維; 大數(shù)據(jù); 多維度; 智能化

0引言

用電信息采集系統(tǒng)建設(shè)已經(jīng)接近尾聲，目前累計接入智能電能表 4.2 億只、采集終端 1 263.84 萬臺，覆蓋用戶 3.86 億戶 [1]，因此，如何保證采集系統(tǒng)中各項業(yè)務(wù)的順利開展，將是今后要解決的主要問題。 采集運維業(yè)務(wù)中主要存在如下問題。

1)缺乏故障處理優(yōu)先級，運維效率低下。 各省電力公司平均每天產(chǎn)生 10 000 條異常工單，遠遠超過目前配備運維人員的工作能力。 大部分公司沒有制定合理的消缺機制，無法依據(jù)故障的緊急程度和重要等級開展運維業(yè)務(wù) [2]。

2)故障種類復(fù)雜多樣，故障分析定位困難。 用電信息采集系統(tǒng)涉及的運維對象有： 智能電能表、采集終端、采集主站、本地通信信道和遠程通信信道 [3]。

目前統(tǒng)計的異常現(xiàn)象共七大類59 種， 故障原因98 種。 故障分析定位非常困難，普通的運維人員通常不具備定位故障原因并確定消缺方案的技術(shù)能力。

3)缺少有效的考核評價體系。 目前采集運維工作大多采用“故障查詢 – 線下派工” 的模式，缺少運維結(jié)果和故障信息的反饋環(huán)節(jié)。 采集設(shè)備、計量設(shè)備、現(xiàn)場運維工作質(zhì)量等方面均缺乏相關(guān)的考核評價體系，無法進一步提高運維工作質(zhì)量 [4]。

為了解決以上問題，本文從采集運維業(yè)務(wù)中工單智能派發(fā)、智能分析處理和多維度質(zhì)量評價 3 個角度介紹了大數(shù)據(jù)分析技術(shù)在采集運維業(yè)務(wù)中的應(yīng)用。

1采集運維大數(shù)據(jù)系統(tǒng)模型

1.1大數(shù)據(jù)分析關(guān)鍵技術(shù)

大數(shù)據(jù)在采集系統(tǒng)中的應(yīng)用包括數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)處理、數(shù)據(jù)解讀和數(shù)據(jù)應(yīng)用 6 個環(huán)節(jié) [5]，本文針對數(shù)據(jù)分析環(huán)節(jié)中，引入關(guān)系型聯(lián)機分析處理機制和多維分析技術(shù)進而優(yōu)化整個系統(tǒng)進行論述。

1) 關(guān) 系 型 聯(lián) 機 分 析 處 理(Relational Online Analytical Processing， ROLAP)。 關(guān)系型聯(lián)機分析處理是聯(lián)機分析處理(OLAP)的一種形式。 這種技術(shù)基于關(guān)系型數(shù)據(jù)庫，以關(guān)系型結(jié)構(gòu)進行多維數(shù)據(jù)的表示和存儲，對存儲在關(guān)系數(shù)據(jù)庫(而非多維數(shù)據(jù)庫)中的數(shù)據(jù)作動態(tài)多維分析。 使用關(guān)系數(shù)據(jù)庫管理 系 統(tǒng)(Relational Database Management System，RDBMS)存儲數(shù)據(jù)，數(shù)據(jù)文件大小受 RDBMS 限制;數(shù)據(jù)裝載速度快; 存儲空間耗費小; 維度數(shù)沒有限制;可以通過 SQL 對數(shù)據(jù)進行處理 [6]。

2)多維聯(lián)機分析處理(Multidimensional OnLine Analytical Processing， MOLAP)。 多維聯(lián)機分析處理是 OLAP 的另一種形式，基于專門的多維分析數(shù)據(jù)存儲結(jié)構(gòu)。 MOLAP 使用專有多維結(jié)構(gòu)存儲

數(shù)據(jù)，數(shù)據(jù)文件大小可能受到操作系統(tǒng)平臺文件大小限制，難以達到 TB 級; 規(guī)劃存儲時需要對數(shù)據(jù)量進行預(yù)測算，否則可能導(dǎo)致數(shù)據(jù)爆炸; 數(shù)據(jù)裝載速度慢; 維數(shù)有限，無法支持維的動態(tài)變化; 缺乏數(shù)據(jù)模型和數(shù)據(jù)訪問的標(biāo)準(zhǔn); 分析查詢響應(yīng)速度高于其他傳統(tǒng) OLAP 技術(shù)，支持高性能的輔助決策計算 [7]。

1.2大數(shù)據(jù)運維業(yè)務(wù)架構(gòu)

該業(yè)務(wù)架構(gòu)收集采集、營銷和運維數(shù)據(jù)，通過數(shù) 據(jù) 抽 取 轉(zhuǎn) 換 加 載(Extraction-TransformationLoading， ETL)層對數(shù)據(jù)進行分類適配，向數(shù)據(jù)存儲層提供數(shù)據(jù)，數(shù)據(jù)存儲層對數(shù)據(jù)進行分類存儲后向數(shù)據(jù)分析層提供所需數(shù)據(jù)。 數(shù)據(jù)分析層對數(shù)據(jù)進行優(yōu)化、數(shù)據(jù)檢索，為應(yīng)用層的異常工單智能派發(fā)、異常工單智能處理及采集運維多維度質(zhì)量評價提供數(shù)據(jù)支撐。 大數(shù)據(jù)運維業(yè)務(wù)架構(gòu)示意如圖 1 所示。

數(shù)據(jù)源主要實現(xiàn)從采集主站、營銷系統(tǒng)和采集運維閉環(huán)系統(tǒng)獲取所需數(shù)據(jù)，如用戶檔案、采集成功 率和異常工單等數(shù)據(jù)。

數(shù)據(jù)ETL層的主要功能是使用ETL工具對數(shù)據(jù)源數(shù)據(jù)進行抽取、清洗、轉(zhuǎn)換，并向數(shù)據(jù)存儲層裝載。

數(shù)據(jù)存儲層采取混合型的大數(shù)據(jù)存儲和處理架構(gòu)，實現(xiàn)對多源異構(gòu)電力大數(shù)據(jù)的多樣性存儲和處理功能。 混合存儲可適應(yīng)分布式文件系統(tǒng)、列式數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等多種數(shù)據(jù)存儲和管理形式，以滿足不同應(yīng)用的需求; 處理架構(gòu)分別面向離線分析、實時計算、計算密集型數(shù)據(jù)分析等場景，采用分布式批處理、內(nèi)存計算、高性能計算等技術(shù)實現(xiàn) [8]。

數(shù)據(jù)分析層實現(xiàn)應(yīng)用系統(tǒng)的基礎(chǔ)功能，如分析模型管理、批量計算、實時查詢等功能。 在數(shù)據(jù)分析層和數(shù)據(jù)處理層之間采用支持高并發(fā)、低時延事務(wù)操作的分布式內(nèi)存數(shù)據(jù)緩存技術(shù)，以降低業(yè)務(wù)應(yīng)用操作與數(shù)據(jù)處理層之間的耦合性，提高應(yīng)用服務(wù)響應(yīng)效率 [9]。

應(yīng)用層構(gòu)建異常工單智能化派發(fā)、異常工單智能處理和采集運維多維度質(zhì)量評價 3 項業(yè)務(wù)，實現(xiàn)采集運維閉環(huán)管理的業(yè)務(wù)功能。 采用模塊化軟件設(shè)計方法實現(xiàn) 3 個模塊功能的即插即用，并在充分考慮模塊之間的信息聯(lián)絡(luò)及功能聯(lián)合的基礎(chǔ)上，遵循規(guī)范的接口，實現(xiàn)模塊之間的功能融合，從而實現(xiàn) 3個業(yè)務(wù)模塊之間既可獨立運行，又可協(xié)作互補。

2大數(shù)據(jù)運維優(yōu)化方案

2.1異常工單智能化派發(fā)應(yīng)用

目前，異常工單主要由采集運維人員人工派發(fā)，本文在研究了大量文獻 [10-12] 后發(fā)現(xiàn)： 人工派發(fā)工單

的問題在于不能充分對現(xiàn)場情況的緊急程度有合理的判斷，并且在異常工單大量產(chǎn)生時，對于工單的消

缺沒有合理的先后順序，從而導(dǎo)致須緊急處理的故障不能在*短時間內(nèi)修復(fù)，導(dǎo)致更大的經(jīng)濟損失。

本章提出對大量運維數(shù)據(jù)和系統(tǒng)歷史數(shù)據(jù)進行多維度分析，甄別各類異常的嚴(yán)重程度，輸出采集運維效用值模型，用于判斷異常處理的先后次序，逐步提升異常工單處理的完成率和工作成效的可控性，從而進一步提高采集系統(tǒng)設(shè)備可用率和數(shù)據(jù)完整性。

2.1.1 基于多維分析的采集運維效用值模型

對于單個表計效用值來說，主要有： 離下一抄表日天數(shù)、異常持續(xù)時間和月平均用電量 3 方面影響。

總體工單效用是該工單所包含的故障電表效益和的累加，即“故障電能表數(shù)量” 產(chǎn)生的影響。 將這些因素綜合考慮得出具體公式。

2.1.2 采集運維效用值模型應(yīng)用

依據(jù) 2016 年 1 月 1 日至 5 月 31 日某省 24 907 294 戶低壓用戶每日采集成功率、抄表數(shù)據(jù)和 2016 年 3 月 1 日至 5 月 31 日采集異常運維數(shù)據(jù)，對共計 1 417 869 條數(shù)據(jù)、42 536 070 個數(shù)據(jù)項進行分析 [13]，數(shù)據(jù)項包括所屬地區(qū)、管理單位、供電單位、臺區(qū)編號、采集點編號、各類異常處理時限、應(yīng)采電能表總數(shù)、采集成功率、各類采集模式下集中器掛接表計分布數(shù)量、臺區(qū)月電量、居民 / 非居用戶日平均電量等。

1)月平均用電量分析。 在對系統(tǒng)數(shù)據(jù)的分析過程中發(fā)現(xiàn)，如果僅使用電量作為效用值的單位，*后計算出的數(shù)值比較大，因此在整體模型中引入“標(biāo)準(zhǔn)月用電量” 作為*后數(shù)值單位。 標(biāo)準(zhǔn)用電戶電量是在抽取大部分用戶的實際用電情況基礎(chǔ)上統(tǒng)計出各類用戶的月平均用電量，然后依據(jù)用戶*多類型的用電戶的平均電量為標(biāo)準(zhǔn)用電戶電量。 以居民用戶和非居民單相表用戶月用電量為標(biāo)準(zhǔn)戶電量分界點：≤ 200 kWh 為 1 戶標(biāo)準(zhǔn)戶，大于 200 kWh 且小于等于 1 000 kWh 為 2 戶標(biāo)準(zhǔn)戶， >1 000 kWh 為 3 戶標(biāo)準(zhǔn)戶。

2)異常持續(xù)時間分析。 系統(tǒng)基于每個電表的故障異常每持續(xù)**就會造成**電量監(jiān)控?fù)p失，其電量監(jiān)控?fù)p失按照累加方式進行計算。 對 2016 年5 月 10 000 戶居民和非居民的日用電量進行分析，其情況如下： 隨機挑選 10 000 戶居民用電情況，計算日用電量標(biāo)準(zhǔn)偏差，并從小到大排列，得出曲線圖(見圖 2)。

根據(jù)曲線拐點，其電量標(biāo)準(zhǔn)偏差值為17，小于17 的用戶數(shù)占總數(shù)的 92%。 隨機挑選 10 000 戶非居民用電情況，計算日用電量標(biāo)準(zhǔn)偏差，并從小到大排列，得出曲線圖(見圖 3)。

根據(jù)曲線拐點，其電量標(biāo)準(zhǔn)偏差值為147，小于147 的用戶數(shù)占總數(shù)的 88.75%。

由以上圖可知，90% 左右的用戶日均電量波動小，故本文暫時以 1 個月內(nèi)的日平均電量作為故障

天數(shù)造成的單日損失監(jiān)控電量。 為了能夠更準(zhǔn)確的預(yù)估指定用戶當(dāng)前月的用電量，參考該用戶上一年 同月份用電量、上一個月用電量和前 3 日用電量，它們之間的比例是 5:2:3。 電量標(biāo)準(zhǔn)偏差值如公式 6 ;綜合考慮后異常持續(xù)時間的效用值如公式4 和5。

3)距離下一抄表日天數(shù)分析。 距離下一抄表日越近，該用戶損失監(jiān)控電量的概率越大，故障維修緊急度越高，當(dāng)距離抄表時間遠時，該因數(shù)影響趨于零。 這里將系統(tǒng)中所有故障電表的故障處理時長作為距離下一抄表日因數(shù)影響的閾值。 距離天數(shù)超過閾值的，該因數(shù)影響為 0，距離天數(shù)在閾值內(nèi)越小，其監(jiān)控電量的缺省值越大。 故障時長統(tǒng)計截止于2016 年 6 月 1 日，統(tǒng)計持續(xù) N 天無抄電能表數(shù)據(jù)的電能表數(shù)分布情況(見圖 4)

從圖中可以看出持續(xù) 2~8 天的故障電表用戶占總故障用戶數(shù)的 59.06%，持續(xù) 9~21 天無抄電能表數(shù)據(jù)的用戶占總故障用戶數(shù)的 30.72%，持續(xù) 22 天及以上占比 10.22%，。

由于抄表應(yīng)用目前在采集系統(tǒng)應(yīng)用率*高，持續(xù) 2~8 天無抄電能表數(shù)據(jù)的用戶占總故障用戶數(shù)的 59.06%，故從離抄表天數(shù) 8 天作為開始計算抄表日影響的閾值，離抄表日 8 天效用值為 1，離抄表日7 天效用值為 2，以此類推，離抄表日 1 天效用值為8。 則緊急程度 s(xi) 的數(shù)學(xué)模型如公式 3。

4)故障電能表數(shù)量效用值分析。 對該省采集系統(tǒng)內(nèi) 5 個月產(chǎn)生的全部采集異常的電能表數(shù)及處理時長統(tǒng)計分析后發(fā)現(xiàn)，在運維時輸出效用值需要考慮掛載故障電能表數(shù)，否則不能達到運維效用的*大化。 但系統(tǒng)通過分析各個處理工單下所有故障電表的效用值總和來判斷其優(yōu)先級，效用值高的工單優(yōu)先處理。 總體效用值 (Y) 模型見公式 1。

2.2異常工單智能化分析處理

原來的采集運維工作由于缺乏系統(tǒng)大數(shù)據(jù)的支撐，在研究了大量文獻和現(xiàn)場調(diào)研后發(fā)現(xiàn)，運維人員僅通過對所屬地區(qū)的熟悉程度進行相對低效率的運維工作，缺乏對已發(fā)生故障的預(yù)分析能力，這導(dǎo)致運維人員僅能對現(xiàn)場故障類型進行逐個排查。 借鑒了前人研究 [14] 并引入對歷史異常工單大數(shù)據(jù)分析技術(shù)后，運維人員可通過系統(tǒng)的異常預(yù)分析功能更快地判斷現(xiàn)場故障原因，從而提高現(xiàn)場運維效率。

本章通過對歷史工單進行多維度、大批量數(shù)據(jù)分析，歸納數(shù)據(jù)規(guī)律，發(fā)現(xiàn)各維度下異常工單發(fā)生大概率的異常原因，并綜合考慮各維度下相同異常原因發(fā)生概率，輸出單個異常原因概率比值，對比各個異常原因比值的大小，從而對未來發(fā)生類似故障現(xiàn)象起到預(yù)分析作用，提升運維效率。

2.2.1 基于多維度分析異常原因概率比值

2.2.2 異常原因概率比值應(yīng)用

通過對某個運維地區(qū) 1 個月 1 712 個歷史異常工單的故障設(shè)備類型”、生產(chǎn)廠家和“國網(wǎng)招標(biāo)批次3 個維度的分類篩選，運用單個異常原因概率比值概念對該地區(qū)新產(chǎn)生集中器與主站無通信故障進行故障原因分析。

1)基于設(shè)備類型異常分析。 該地區(qū)與集中器和主站無通信時有關(guān)的歷史工單共有 761 條。 集中器發(fā)生無通信故障時很大部分都是由集中器 GPRS模塊故障、主機故障、軟件故障造成，占比分別為32.82%、28.21% 和 12.82%，且該地區(qū)集中器 GPRS模塊故障偏多。

2)基于設(shè)備生產(chǎn)廠家異常分析。 該故障集中器為“某廠家” 生產(chǎn)設(shè)備，與其有關(guān)的工單共有 350 條。

發(fā)生無通信故障時很大部分都是由集中器 GPRS模塊故障、主機故障、軟件故障造成，占比分別為51.43%、13.71% 和 16.00%，且該廠家集中器 GPRS模塊故障偏多。

3)基于國網(wǎng)招標(biāo)批次異常分析。 該故障集中

器為“某批次招標(biāo)” 供貨設(shè)備，與之有關(guān)的工單共有 243 條?！澳撑握袠?biāo)” 集中器發(fā)生無通信故障時很大部分都是由集中器 GPRS 模塊故障、主機故障、軟件故障造成，占比分別為 37.14%、14.29% 和17.14%，且該招標(biāo)批次集中器 GPRS 模塊故障偏多。

運用異常原因概率比值公式計算后可得： 集中器 GPRS 模塊故障率 =(32.87%+51.43%+37.14%)/3=40.48%; 主機故障率 =(28.21%+13.71%+14.29%)/3=18.74%;

軟件故障率 =(12.82%+16.00%+17.14%)/3=15.32%。

由以上可知該集中器與主站無通信異常工單很可能是由于 GPRS 模塊故障導(dǎo)致，可指導(dǎo)現(xiàn)場運維人員優(yōu)先排查是否為集中器 GPRS 模塊故障。

2.3采集運維多維度質(zhì)量評價

目前采集運維工作使用大數(shù)據(jù)技術(shù)，對終端、電能表和運維服務(wù)質(zhì)量評價沒有有力的數(shù)據(jù)支撐。 借鑒了前人研究 [15] 并引入大數(shù)據(jù)后，可在采集數(shù)據(jù)、營銷數(shù)據(jù)、運維數(shù)據(jù)之間建立橋梁，實現(xiàn)采集運維多維度質(zhì)量評價。

本章通過對某市級供電單位 217 萬用戶在 2016 年第 2 季度采集運維工單數(shù)據(jù)、采集成功率、采集抄表數(shù)據(jù)、工單歸檔數(shù)據(jù)等數(shù)據(jù)的分析梳理，建立采集終端、電能表、運維服務(wù)的質(zhì)量評價指標(biāo)計算規(guī)則，驗證采集運維多維度質(zhì)量評價的可行性。

2.3.1 采集終端產(chǎn)品質(zhì)量評價

根據(jù)采集運維情況對各終端廠商的終端質(zhì)量進行量化分析，利用各終端廠商的運行終端數(shù)、確認(rèn)終端問題數(shù)、異常終端占比、更換終端數(shù)、終端時鐘異常數(shù)等數(shù)據(jù)，建立采集終端產(chǎn)品質(zhì)量分析評價指標(biāo)計算規(guī)則如下。

1)終端故障更換率： 終端故障更換率 = 周期內(nèi)更換終端的數(shù)量 ÷ 周期內(nèi)在運行的采集終端數(shù)量 ×100%。

2)終端時鐘偏差超標(biāo)占比： 終端時鐘偏差超標(biāo)占比 = 周期內(nèi)終端時鐘偏差超過 5 min 的終端數(shù)量 ÷ 周期內(nèi)在運行的采集終端數(shù)量 ×100%。

3)各廠家終端故障率： 終端故障率 = 周期內(nèi)終端發(fā)生故障的次數(shù) ÷ 周期內(nèi)在運行的采集終端數(shù)量 ×100%。

2.3.2 電能表產(chǎn)品質(zhì)量評價

根據(jù)采集運維情況對各電表廠商的產(chǎn)品質(zhì)量進行量化分析，利用各電表廠商的運行電表數(shù)、確認(rèn)電表問題數(shù)、異常電表占比、更換電表數(shù)、電表時鐘異常數(shù)等數(shù)據(jù)，開展各電表廠商的產(chǎn)品質(zhì)量分析，建立電能表產(chǎn)品質(zhì)量分析評價指標(biāo)計算規(guī)則：

故障更換率 = 周期內(nèi)更換電能表的數(shù)量 ÷ 周期內(nèi)在運行的電能表數(shù)量 ×100%。

2.3.3 采集運維工作質(zhì)量評價

根據(jù)采集運維情況對各運維人員的工作質(zhì)量和工作效率進行綜合評價，利用異常處理數(shù)量、異常處理率、異常處理時長等數(shù)據(jù)，對采集運維工作進行評價，建立分析評價指標(biāo)計算規(guī)則。

1)異常工單派發(fā)率： 異常工單派發(fā)率 = 統(tǒng)計日期內(nèi)派發(fā)工單數(shù) ÷ 當(dāng)期應(yīng)派發(fā)的工單總數(shù) ×100%。

2)異常工單反饋率： 異常工單反饋率 = 反饋工單數(shù) ÷ 當(dāng)期應(yīng)反饋的工單總數(shù) ×100%。

3)采集故障處理及時率： 采集故障處理及時率 =已處理并恢復(fù)的采集故障數(shù) ÷ 當(dāng)期應(yīng)處理的采集故障電表總數(shù) ×100%。

3結(jié)語

通過引入大數(shù)據(jù)技術(shù)，對采集數(shù)據(jù)進行深入挖掘、分析與梳理，實現(xiàn)采集運維異常工單的智能化派發(fā)、分析處理和運維多維度質(zhì)量評價，能夠使運維工作由粗放式向集約化、精益化轉(zhuǎn)變，進而提高運維工作效率和質(zhì)量。

用電信息采集的運維管理是一項龐大而復(fù)雜的工作，本文提出的對異常工單智能化派發(fā)、異常工單智能處理和采集運維多維度質(zhì)量評價只是對其中的一部分業(yè)務(wù)進行了優(yōu)化應(yīng)用，后續(xù)還將對采集異常智能化甄別、異常工單智能處理及異常工單智能化派發(fā)進行更深入的實踐與研究，*終為滿足國網(wǎng)營銷部的“全覆蓋、全采集、全費控” 目標(biāo)要求提供強有力的技術(shù)保障。