0 引言

生產管理系統（Power Production Management System,PMS）是面向國家電網公司總部、省公司和各級運維檢修單位的統一精益生產管理信息系統,它包含了公司運維檢修業務和生產管理全過程,完成設備管理向電網管理和資產管理轉變,為智能電網建設提供強有力的支撐。

PMS2.0管理的設備類型多、數量大,依靠人工檢測的方式需要檢查的字段很多,數據量巨大,耗時較長,人力成本和時間成本都很高,而且在檢測的過程中很可能出現遺漏或者錯檢的情況。面對這樣的狀況,傳統依靠人工檢查方式已經無法滿足數據質量檢查要求^[1]。因此,采用自動化、流程化手段高效、準確地進行數據檢測,對提升數據質量是十分必要的^[2]。針對國家電網公司諧波監測平臺的縱向接口要求,設計實現PMS臺賬數據服務及數據質量檢測系統,用自動化的檢測代替人工檢查方式,可以提高供電企業數據質量檢測工作的檢測速度,并有效提升后續工作效率。

 1 臺賬數據接口服務及檢測內容

1.1 臺賬數據接口服務

根據國家電網公司下發的《國家電網公司電網諧波監測分析模塊縱向接口規范》,PMS2.0的縱向接口中臺賬數據接口用于傳輸監測終端的臺賬數據、測試儀器/檢定裝置的臺賬數據、監測點的臺賬數據、電網設備的臺賬數據。臺賬數據接口部署在省公司主站側,采用SOAP Web Service方式實現,由總部主站發起請求,省公司主站應答,將相關臺賬數據上傳給總部主站。

臺賬數據接口包括監測終端的臺賬數據接口、測試儀器/檢定裝置的臺賬數據接口、監測點的臺賬數據接口、電網設備的臺賬數據接口。

各借口功能描述如下：

1）GetTerminalAccountList：獲取指定設備編碼的監測終端臺賬數據;

2）GetTestInstrumentAccountList：獲取指定設備編碼的測試儀器/檢定裝置臺賬數據;

3）GetMonitorAccountList：獲取指定編碼的監測點臺賬數據;

4）GetDeviceAccountList：獲取與指定編碼的監測點關聯的電網設備臺賬數據。

臺賬數據服務接口發出請求和獲取服務的數據都有相應的規范標準,以此來進行數據質量檢測,由于臺賬數據接口較多,本文以“獲取指定設備編碼的監測終端臺賬數據”接口為例,說明臺賬服務接口及數據監測的內容。

1.2 服務及數據檢測內容

1）接口服務一致性檢測：主要檢測電網諧波監測分析模塊臺賬數據服務發布的接口格式,是否符合國家電網公司規定的接口規范。因為此接口采用SOAP Web Service方式實現,SOAP 基于XML和HTTP,通過XML 來實現消息描述,然后再通過 HTTP 實現消息傳輸。通過XML規范來確定統一的數據傳輸格式,其保證傳輸數據正確的先決條件是請求方與應答方所了解的服務接口格式是否一致。

省公司主站作為應答方,在接收到請求消息后應解析XML,根據請求參數向總部主站反饋相應數據。總部主站收到應答數據后解析XML入總部生產庫,并抽取數據進行計算。針對應答消息的檢測,需要根據不同的接口制定不同的標準文件。在檢測指定接口的應答消息XML時,與相應接口標準文件進行同步解析對比,以此方式檢測結果XML中是否出現以下幾種情況：標簽缺失、標簽冗余、標簽級別錯誤、標簽拼寫錯誤。

2）數據質量檢測：主要針對臺賬數據,檢測內容包括數據是否完整、數據是否準確、數據格式是否正確、多個臺賬數據中關聯字段是否匹配等。監測終端臺賬關鍵字段核查標準如表1所示。數據質量要求包括固定取值范圍、數據類型要求、固定編碼對應、時間格式匹配標準等。

表1 監測終端臺賬關鍵字段核查標準Tab.1 Checking standards of the terminal account key fields

 2 數據質量與檢測方法

數據質量可以從應用角度與自身特性2個方面定義^[3]。就數據應用角度來看,可從是否能滿足指定應用的要求來衡量,即如果一批數據能從各個方面經過驗證并滿足指定應用的要求,那么這批數據對這些應用來說就是高質量的。就數據質量本身來看,其自身特性主要體現在2個方面：一是數據本身的數據質量,主要包括數據真實性、數據自洽性、數據完整性、數據邏輯一致性、數據精確性、數據時效性、數據可用性、數據可信性等體現數據質量特征的屬性^[4];二是數據的過程質量,主要包括數據的使用質量、數據的存貯質量、數據的傳輸質量。影響數據質量的因素可以歸結為數據內在因素、應用環境、數據表述和數據存取四大類。

PMS系統臺賬數據服務及數據質量檢測軟件設計開發的難點在于異常數據的發現與識別。異常數據檢測是對數據集中明顯的偏差值、孤立點的識別,異常數據的校驗方法因不同的應用領域而有所差
異^[5-12]。已有的對電力系統數據檢測方法主要有3種：基于統計的檢測方法,基于數據間關聯關系的檢測方法,多個數據來源的檢測方法。在這3種方法中,基于統計的檢測方法更適合對臺賬數據進行檢測。

 3 臺賬服務及數據質量檢測系統設計

3.1 系統物理結構設計

系統物理結構如圖1所示。臺賬縱向接口程序將國網北京市電力公司PMS中的數據與電能質量監測系統的監測點臺賬數據同步到接口服務器,打包成Web服務,在特定的服務端口發布,國家電網公司總部諧波監測分析模塊服務器可通過訪問北京接口服務器調用接口服務,獲取所需數據。本次實現的PMS臺賬數據服務及數據質量檢測系統也可調用接口服務器的服務,獲取返回XML數據,進行數據的解析檢測,生成檢測報表文件。

圖1 系統物理結構Fig.1 Physical structure of the system

3.2 系統邏輯結構設計

系統具有分布性特點,需要隨時隨地能夠進行查詢、瀏覽等業務處理,因而采用B/S三層架構模式,分為與客戶交互的表示層,中間的業務邏輯層和底層的數據訪問層。因為系統數據源基于服務接口的特殊性,在數據訪問層與業務邏輯層之間添加服務層。系統邏輯結構如圖2所示。

1）表示層。臺賬質量檢測的界面收集用戶輸入信息,包括服務地址、待測數據類型。

圖2 系統邏輯結構Fig.2 Logical structure of the system

2）業務邏輯層。系統首先從表示層獲取參數信息,使用Web Service調用方式調用相應的臺賬數據服務接口,獲取標準XML格式的臺賬數據。系統獲得訪問Web服務地址返回的XML數據后,對其進行解析才能得到需要的臺賬數據。在保存錯誤數據的同時,還要保存所屬臺賬接口類型、所屬ID、標簽名、異常數據檢測時間等信息。檢測完畢后,對異常數據進行統計后生成檢測報表,包括錯誤率、缺失率、異常數據明細、缺失數據明細等。

3）服務層。已有臺賬數據封裝發布到Web Service上,為檢測提供獲取數據接口。

4）數據訪問層。主要作用是獲取臺賬數據規范標準表內容和保存質量檢測結果。

3.3 數據庫設計

系統數據庫采用MySQL數據庫,全部數據表的說明如表2所示。

表2 數據庫中全部表說明Tab.2 List of all tables

1）臺賬數據標準規范表。臺賬數據標準規范表（sy_scheme）中記錄的是所有臺賬數據的存儲規范,將規范標準化成可以用程序識別的標準規范表。表中check_type存放檢測類型,對于每一項不同的標簽可能會有不一樣的檢測標準,整體分為9類,所以在check_type中用數字代替檢測的類型（0無其他要求,1有閾值,2不能有中文,3必須是中文,4判斷日期,5不帶單位,6匹配標準格式,7生產廠家編碼,
8部門編碼）。如果check_type為1,說明有閾值,才會讀取后面3項（最大值、最小值、錯誤信息說明）。臺賬數據標準規范表的表結構如表3所示。

表3 臺賬數據標準規范表的表結構（sy_scheme）Tab.3 The structure of normalized account table

2）臺賬錯誤信息表。臺賬錯誤信息表（sy_errorinfo）中記錄臺賬數據質量檢測結果,包括臺賬種類、每種臺賬中的id編碼、錯誤標簽的名稱、錯誤標簽對應的參數名、錯誤數據、錯誤類型、檢測時間、錯誤信息說明。其中錯誤類型是為了之后生成報表能統計出缺失率和錯誤率;錯誤信息說明是保存錯誤數據的出錯原因,方便有針對性修改數據。臺賬錯誤信息表的表結構如表4所示。

表4 臺賬錯誤信息表的表結構（sy_errorinfo）Tab.4 Account data error information

 4 系統實現

4.1 系統總體流程

系統主要功能是臺賬的數據質量檢測,首先選擇待測臺賬數據類型,輸入Web訪問地址,點擊開始檢測后由按鈕響應獲取用戶輸入的數據,調用獲取所有臺賬ID接口,再用返回的ID數據調用待測臺賬數據,判斷是否符合標準格式。然后將XML格式數據轉為SimpleXML對象,實現對臺賬數據的解析。質量檢測時先判斷是否為空,如果為空,且是必填項保存為缺失數據,若不是必填項檢查下一條;如果不為空,判斷是否填寫正確。檢查下一條臺賬數據直到檢測完所有的臺賬數據,保存檢測結果,對結果進行統計匯總生成檢測報表。系統流程如圖3所示。

圖3 系統流程Fig.3 System flowchart

4.2 臺賬數據質量檢測實現

臺賬數據服務訪問后獲得的臺賬數據是XML格式字符串,系統對XML格式字符串進行解析,轉為SimpleXML對象,調整對象中每個臺賬數據標簽存儲位置,以便檢測時獲取XML標簽中的值,與數