timization(ADO)選件,該選件基本上可以做到磁盤間移動(dòng)、壓縮等數(shù)據(jù)生命周期管理動(dòng)作。除內(nèi)存計(jì)算的數(shù)據(jù)生命周期管理外,其他磁盤與壓縮類操作可以通過策略引擎直接配合ADO完成。如果不采用ADO基于策略引擎的規(guī)則,開發(fā)自定義JOB完成在線數(shù)據(jù)移動(dòng)也非常方便,所以,問題的重點(diǎn)是內(nèi)存計(jì)算的數(shù)據(jù)生命周期管理。

內(nèi)存計(jì)算的數(shù)據(jù)生命周期管理組件模型如圖6所。

圖6 數(shù)據(jù)生命周期管理組件模型Fig.6 Data lifecycle management component model

任務(wù)管理模塊負(fù)責(zé)接收決策引擎的請(qǐng)求,并負(fù)責(zé)整個(gè)執(zhí)行過程的監(jiān)控管理。數(shù)據(jù)操作模塊是對(duì)數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)移動(dòng)操作的模塊,該模塊可以對(duì)接OracleADO選件,完成數(shù)據(jù)在磁盤存儲(chǔ)上的壓縮、存儲(chǔ)分級(jí)等操作^[12]。本文中主要研究的是通過策略引擎驅(qū)動(dòng),將數(shù)據(jù)加載到內(nèi)存中完成內(nèi)存計(jì)算。

 4 自動(dòng)化協(xié)同算法實(shí)現(xiàn)

自動(dòng)化協(xié)同具體的實(shí)現(xiàn)基于Oracle Database12.1.0.2,該版本引入了Oracle Database In-Memory,支持混合分析和事務(wù)性工作負(fù)載。代碼的開發(fā)基于Oracle Database Stored Procedure,系統(tǒng)層面數(shù)據(jù)收集采用Bash結(jié)合Oracle Database External Tables的方式。

4.1 策略引擎算法實(shí)現(xiàn)建模

策略引擎是關(guān)鍵的部分,解析策略并將策略與數(shù)據(jù)模型或數(shù)據(jù)工作負(fù)載關(guān)聯(lián)起來,以及通過元數(shù)據(jù)傳遞策略和模型,策略引擎不僅是挑戰(zhàn)的難點(diǎn),也是實(shí)現(xiàn)最大價(jià)值的關(guān)鍵所在。

策略引擎實(shí)現(xiàn)建模如圖7所示。

圖7 策略引擎實(shí)現(xiàn)建模Fig.7 Rule engine application model

策略引擎工作的前提是在關(guān)系型數(shù)據(jù)庫(kù)Oracle Database12.2.0.1中打開Heat Map。

altersystemsetheat_map=on;

對(duì)照熱圖數(shù)據(jù),檢索策略庫(kù),觸發(fā)條件后將request提交至數(shù)據(jù)生命周期管理引擎;考慮到策略引擎與數(shù)據(jù)生命周期管理引擎之間接口的強(qiáng)壯性,request進(jìn)入隊(duì)列后采用3次重試的方式,3次都失敗后計(jì)入建議表,等待人工介入進(jìn)行故障處理。

策略引擎中的各項(xiàng)閾值根據(jù)需要可以進(jìn)行調(diào)整,包括冷熱數(shù)據(jù)的標(biāo)準(zhǔn)。策略引擎的調(diào)度依據(jù)也與數(shù)據(jù)集的大小有密切關(guān)系,不同的數(shù)據(jù)量決定了數(shù)據(jù)的存儲(chǔ)位置。

4.2 數(shù)據(jù)生命周期管理引擎算法實(shí)現(xiàn)

數(shù)據(jù)庫(kù)生命周期管理是管理數(shù)據(jù)庫(kù)和數(shù)據(jù)資產(chǎn)的基于策略的方法,不是一種產(chǎn)品,而是一種用于管理數(shù)據(jù)庫(kù)應(yīng)用程序的數(shù)據(jù)庫(kù)模式及數(shù)據(jù)和元數(shù)據(jù)的方法。數(shù)據(jù)生命周期管理引擎采用主動(dòng)的方法使組織管理數(shù)據(jù),在滿足性能要求的情況下,保證可用性和節(jié)省成本^[13-14]。

數(shù)據(jù)生命周期管理引擎負(fù)責(zé)策略的執(zhí)行,在不同存儲(chǔ)層級(jí)之間遷移數(shù)據(jù),數(shù)據(jù)生命周期管理引擎實(shí)現(xiàn)建模如圖8所示。

圖8 數(shù)據(jù)生命周期管理引擎實(shí)現(xiàn)建模Fig.8 ILM engine application model

數(shù)據(jù)生命周期管理引擎收到策略引擎的request后,首先判斷是否滿足自動(dòng)執(zhí)行的條件,是否能自動(dòng)執(zhí)行取決于用戶的預(yù)定義參數(shù)。然后檢查系統(tǒng)狀態(tài)是否滿足執(zhí)行條件,如系統(tǒng)負(fù)載、文件系統(tǒng)空間。

操作系統(tǒng)的狀態(tài)監(jiān)控本文采用外部表的方式。首先把需要執(zhí)行的命令編寫為腳本文件,然后將結(jié)果輸出成文本文件,以外部表形式掛接到數(shù)據(jù)庫(kù)。以文件系統(tǒng)空間監(jiān)控為例,創(chuàng)建df腳本,創(chuàng)建外
部表：

create table df

2 (

3 fsname varchar2(100),

4 blocks number,

5 used number,

6 avail number,

7 capacity varchar2(10),

8 mount varchar2(100)

9 )

10 organization external

11 (

12 type oracle_loader

13 default directory exec_dir

14 access parameters

15 (

16 records delimited

17 by newline

18 preprocessor

19 exec_dir:’run_df.bsh’

20 skip 1

21 fields terminated by

22 whitespace ldrtrim

23 )

24 location

25 (

26 exec_dir:’run_df.bsh’

27 )

28 )

29 /

Table created.

在數(shù)據(jù)庫(kù)內(nèi)部通過查詢語句即可獲得空間監(jiān)控?cái)?shù)據(jù)：

SQL> select * from df;

FSNAME BLOCKS USED AVAIL CAPACITY MOUNT

------------------------------ -----------

orapool1/ora01 629145600 382371882 246773718 61% /ora01

orapool2/ora02 629145600 429901326 199244274 69% /ora02

orapool1/ora03 629145600 415189808 213955792 66% /ora03

orapool2/ora04 629145600 343152974 285992626 55% /ora04

按照上面的例子,可以同理開發(fā)出其他系統(tǒng)CPU、內(nèi)存等各種監(jiān)控,其他如內(nèi)存列式緩存區(qū)域大小都可以通過Oracle SQL獲得。

 5 驗(yàn)證測(cè)試

為驗(yàn)證本文方案可行性,在電能計(jì)量系統(tǒng)（用電信息采集系統(tǒng)）的3個(gè)關(guān)鍵場(chǎng)景進(jìn)行了測(cè)試。通

過自動(dòng)優(yōu)化引擎優(yōu)化后的3個(gè)查詢業(yè)務(wù)均得到大幅度的提升。優(yōu)化之后系統(tǒng)壓力顯著下降,CPU空閑率從40%提升到90%（見圖9）。

圖9 CPU空閑率Fig.9 CPU idle rate

對(duì)比3個(gè)關(guān)鍵業(yè)務(wù)的查詢時(shí)間,查詢效率明顯提升,業(yè)務(wù)響應(yīng)時(shí)間對(duì)比如圖10所示。

圖10 業(yè)務(wù)響應(yīng)時(shí)間對(duì)比Fig.10 Business response time

 6 結(jié)語

本方案整合數(shù)據(jù)熱圖、數(shù)據(jù)生命周期管理和數(shù)據(jù)存儲(chǔ)技術(shù),與內(nèi)存計(jì)算相結(jié)合,主要用于關(guān)系型數(shù)據(jù)庫(kù),優(yōu)化分析類操作業(yè)務(wù)。在關(guān)系型數(shù)據(jù)庫(kù)內(nèi)部建模,通過數(shù)據(jù)熱圖跟蹤數(shù)據(jù)使用情況,進(jìn)而建立數(shù)據(jù)訪問模型,由決策引擎根據(jù)策略庫(kù)計(jì)算得到內(nèi)存技術(shù)優(yōu)化方案;由數(shù)據(jù)生命周期管理引擎完成數(shù)據(jù)移動(dòng)的具體操作。

通過對(duì)數(shù)據(jù)使用的特點(diǎn)進(jìn)行分析,從而選擇出最適合加載到內(nèi)存中進(jìn)行內(nèi)存計(jì)算的數(shù)據(jù)。通過最優(yōu)化的內(nèi)存使用方案,使得內(nèi)存的使用效率達(dá)到最佳,在節(jié)約硬件成本的同時(shí),提高系統(tǒng)處理效率。由于可以實(shí)時(shí)優(yōu)化,避免了以往優(yōu)化工作滯后的問題,同時(shí)可以減少優(yōu)化的工作量,節(jié)省人力物力,降低了成本。

(編輯:張京娜)

參考文獻(xiàn)

[1] FRANKLIN M J, CAREY M J, LIVNY M.Global memory management in client-server database architectures[C]// In Proc. of the 18th International Conf. on Very Large Data Bases, Vancouver, Canada, 1992: 596-609.

[2] GARCIA-MOLINA H, SALEM K.Main memory database systems: An overview[M]. IEEE Transon Knowledge & Data Engineering, 1992, 4(6): 509-516.

[3] ERICKSON J. In-Memory acceleration for the real-time enterprise[DB/OL]. [2017-06-01]. http://www.oracle.com/us/ corporate/features/database-in-memory-option .

[4] Oracle Database In-Memory[DB/OL]. [2017-06-01].http://www. oracle.com/technetwork/database/in-memory/overview/index. html .

[5] ABADI D J, MADDEN S R, HACHEM N.Column-stores vs. row-stores: How different are theyreally?[DB/OL]. [2017-06-01].http://db.csail.mit.edu/pubs/ssbm.pdf.

[6] 劉博. Oracle數(shù)據(jù)庫(kù)性能調(diào)整與優(yōu)化[J]. 大連: 大連理工大學(xué), 2007.

[7] 趙婷. 數(shù)據(jù)庫(kù)優(yōu)化器自適應(yīng)架構(gòu)及實(shí)現(xiàn)方法研究[J]. 天津: 南開大學(xué), 2012.

[8] 徐宏文, 張勇. ORACLE數(shù)據(jù)庫(kù)優(yōu)化技術(shù)[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2001, 10(1): 26-30.

[9] Oracle. Heat map, automatic data optimization and ILM with Oracle database[DB/OL].[2017-06-01].http://www.oracle.com/ technetwork/topics/index-090321.html .

[10] NILAKANT K, DALIBARD V, ROY A, et al.PrefEdge: SSD prefetcher for large-scale graph traversal[C]// InProc. of the 7th ACM International Systems and StorageConference, Haifa, Israel, 2014: 1-12.

[11] 賀鵬程. 基于Oracle的數(shù)據(jù)庫(kù)性能優(yōu)化研究[J]. 電子設(shè)計(jì)工程, 2016, 24(9): 1-3.

HE Peng-cheng.Research on optimization of Oracle database[J]. Electronic Design Engineering, 2016, 24(9):1-3.

[12] NANDA A. Automatic data optimization[DB/OL].[2017-06-01].http://www.oracle.com/technetwork/issue-archive/2013/13-nov .

[13] HART E, BARMBY P, LEBAUER D, et al.Ten simple rules for digital data storage[J]. PLoS Comput Biol 12(10): e1005097. doi: 10. 1371/journal. pcbi. 1005097.

[14] SCHOPF J M.Treating data like software: a case for production quality data[C]// JCDL ‘12 Proceedings of the 12th ACM/IEEE-CS joint conference on Digital Libraries, New York, USA, 2012: 153-156.