電價業務分析系統設計與實現
摘要:在分析了電力營銷業務系統面臨的問題的基礎上,闡述了電價分析系統建設的意義,描述了系統的總體架構和主要技術,介紹了該系統的建設與實踐經驗。該系統的建設。本文結合大數據平臺優勢,實現了多源數據的高度融合共享和深度挖掘分析,對探究電力信息化建設具有重要的實際和指導意義。
關鍵詞:電網營銷;電價分析;大數據
隨著電價業務的不斷拓展和用戶數據量的迅猛增長,實現對電價業務數據的深入挖掘與高效運用顯得越來越重要。然而,隨著業務的不斷發展和對電價業務管理的要求不斷提高,迫切需要提升對價格政策的把握與執行管理水平。因此,通過設計適合各級電價業務人員使用的電價業務分析系統,對推動和支撐電價業務管理,實現輸配電價改革的管理目標,進一步推動和完善輸配電價分析系統的建設具有重要的意義。
1平臺架構
電價業務分析系統,主要基于大數據平臺和“全國統一電力市場技術支撐系統”、“營銷業務應用系統”,其中大數據平臺提供計算資源、存儲資源、應用集成技術、數據分析技術、應用展現技術等一體化資源服務。平臺通過獲取相關系統的輸配電計量點檔案、測點檔案、電能信息等數據,采用自動和手動觸發獲取方式,實現輸配電相關的計量點數據、測點數據、電價等數據抽取。通過對抽取數據的匯集、同步轉換,完成對結構化、非結構化數據存儲、分析及處理。
2主要技術
2.1數據采集與接入
數據采集與接入服務主要負責將全國統一電力市場技術支撐系統和營銷業務應用系統的部分相關數據接入至大數據平臺中,包括數據抽取、數據消息隊列管理、補招數據接入等三大模塊。
2.1.1數據抽取
數據抽取模塊通過訪問全國統一電力市場技術支撐系統和營銷業務系統的源端數據庫,分別抽取歷史數據和增量數據。從數據源抽取的數據不一定完全滿足大數據平臺的要求,例如數據格式的不一致、數據輸入錯誤、數據不完整等,因此有必要對抽取出的數據進行數據轉換和加工。抽取的數據經過處理生成約定標準格式的E文件。E文件的格式可以根據不同的需求進行更改,包括E文件的命名、數據行數、接入的字段等。
2.1.2數據消息隊列管理
通過應用分布式消息隊列可有效屏蔽沖擊,對數據進行異步緩沖。設置數據在分布式消息隊列中的存儲結構,實現高速寫入,并降低轉換開銷;同時需實現基于分布式消息隊列的故障恢復機制,以確保數據不丟失。
2.1.3補招數據接入
由于某些原因,系統可能存在數據丟失的情況。所以,針對丟失的數據,要提供數據接入的接口,用以維護數據的完整性。
2.2數據存儲
系統中的不同類型的數據,接入至大數據平臺后,需要具備易存儲、查詢效率高的特點。數據存儲基于HBase集群實現。對于表名規則,可以按照時間進行分表,數據量較小的可以按月分表,數據量較大的可以每月分一張表,其表名規則為“系統代碼_業務類型代碼+6月年月時間/4月年份”;在設計rowkey規則時,可結合時間等固定屬性形成靈活可配置的復合行鍵,這樣可以使得同一時刻點同一設備下的相關數據鄰近;對于列名規則,一個列族下有多個列,列名取屬性值。例如,對于計量設備數據,列名可以取計量表的設備ID。
2.3數據分析
數據分析基于大數據平臺中的分布式計算引擎Spark實現。結合ApacheSpark中適用于數據分析的工具庫,將已采集到的電力數據作為訓練的數據集,運用合適的監督學習算法,從給定的訓練數據集中學習出一個模型,當新的電力數據到來時,可以根據這個模型預測結果。根據業務需求,將相關的業務數據進行分析,得出相應的指標參數,輔助業務運營與決策。
2.4主要應用
基于大數據平臺的電價分析系統,在對相關業務的趨勢把握、關鍵因素分析和用電規律展示,都發揮著重要的角色。
2.4.1電價關鍵指標分析
營銷業務應用系統包含的種類包括客戶檔案數據、抄表數據以及電費數據等多種數據,基于這些單一數據對電價的分析,往往難以達到理想的效果。結合大數據平臺的分布式計算引擎,將多種類型的數據進行關聯組合分析,以多個維度作為特征值,進行電價的分析。
2.4.2力調電費分析
力調電費,指供電公司根據客戶一段時間內(如一個月或年)所使用的有無功電量來計算其平均功率因數,并據此收取的相關電費。電費單上的力調電費的計費數量,是根據功率因數的高低,加收得總電費的百分數(即“調整率”),這個“調整率”根據相應功率因數的高低是不同的,功率因數高,費率就低,功率因數低,費率就高。
2.4.3其他應用
基于系統的電價業務數據分析成果,依托于大數據平臺強大的存儲能力和計算能力、并結合營銷業務系統的建設經驗,開展上網電價變動因素分析、大用戶分析、兩部制電價執行分析、標桿電價分析、環保電價執行分析、峰谷分時電價執行、電價碼自助查詢、上網側自助查詢、專項輔助服務價格測算等應用的研究與實現。
3平臺建設
電價業務分析系統,依托于某網省大數據平臺建設及電價信息化建設主要成果,實現大數據量輸配電價的分析。接入數據71.6億條,數據量達2.3TB;構建了典型的電價分析與查詢等綜合應用,補充了現有營銷業務應用系統在數據處理和分析應用方面的不足,逐步完善面向領導層的關鍵指標分析、面向業務管理層的購售輸專題分析、面向操作層的自助查詢分析及自動分析報告功能體系。
4結束語
基于全國統一電力市場技術支撐系統和營銷業務應用系統,結合大數據平臺的分布式文件系統、列式數據庫、分布式計算引擎等基礎組件,實現了基于輸配電價的電價預測、監控分析、自助查詢,解決了傳統分析型應用數據反復抽取、冗余存儲的功能,同時也為高效并實時地掌握電價發展趨勢開拓了思路,并提供了精細化的可視化展現形式,提升對電價業務的分析和判斷能力,滿足各級電價業務人員對輸配電價分析的實際需求。
參考文獻
[1]宮宇,呂金壯.大數據挖掘分析在電力設備狀態評估中的應用[J].南方電網技術,2014(06):74-77
[2]孟小峰,慈祥.大數據管理:概念、技術與挑戰[J].計算機研究與發展,2013,50(01):146-169.
[3]劉芳.基于數據挖掘的電網數據只能分析的研究與實現[D].西北大學,2008.
作者:張珂珩 單位:江蘇瑞中數據股份有限公司
責任編輯:電力交易小郭
-
現貨模式下谷電用戶價值再評估
2020-10-10電力現貨市場,電力交易,電力用戶 -
PPT | 高校綜合能源服務有哪些解決方案?
2020-10-09綜合能源服務,清潔供熱,多能互補 -
深度文章 | “十三五”以來電力消費增長原因分析及中長期展望
2020-09-27電力需求,用電量,全社會用電量
-
PPT | 高校綜合能源服務有哪些解決方案?
2020-10-09綜合能源服務,清潔供熱,多能互補 -
深度文章 | “十三五”以來電力消費增長原因分析及中長期展望
2020-09-27電力需求,用電量,全社會用電量 -
我國電力改革涉及的電價問題
-
貴州職稱論文發表選擇泛亞,論文發表有保障
2019-02-20貴州職稱論文發表 -
《電力設備管理》雜志首屆全國電力工業 特約專家征文
2019-01-05電力設備管理雜志 -
國內首座蜂窩型集束煤倉管理創新與實踐
-
人力資源和社會保障部:電線電纜制造工國家職業技能標準
-
人力資源和社會保障部:變壓器互感器制造工國家職業技能標準
-
《低壓微電網并網一體化裝置技術規范》T/CEC 150
2019-01-02低壓微電網技術規范
-
現貨模式下谷電用戶價值再評估
2020-10-10電力現貨市場,電力交易,電力用戶 -
建議收藏 | 中國電價全景圖
2020-09-16電價,全景圖,電力 -
一張圖讀懂我國銷售電價附加
2020-03-05銷售電價附加
-
電氣工程學科排行榜發布!華北電力大學排名第二
-
國家電網61家單位招聘畢業生
2019-03-12國家電網招聘畢業生 -
《電力設備管理》雜志讀者俱樂部會員招募
2018-10-16電力設備管理雜志