足“當郵件賬號2次登錄的IP位置距離大于2次登錄時間內飛機的最大飛行距離時,該賬號即為異常賬號”的場景分析規則即為異常登錄行為。對符合該類場景規則的數據關聯分析最終生成告警,并由相關人員進行不同處置。

首先通過數據采集層獲取的主機類日志,識別郵件登錄日志,對郵件登錄日志進行去重去噪分析及語義分析,由于生產環境的數據類型各異,數據采集量達到上億級,所以依據該場景以1 h為單位進行分析。

1.4.1 郵件系統登錄數據中的字段定義

Affiliated_Network:郵件登錄IP所屬網絡;

Server_IP：郵件服務器IP地址;

Login_IP：郵件賬號登錄IP地址;

Login_Account：郵件登錄賬號;

LogIds：日志唯一標識id;

Login_Longitude：郵箱登錄地址經度;

Login_Latitude：郵箱登錄地址維度。

1.4.2 郵件賬號登錄事件流

設E為郵件賬號登錄日志事件集合：

E={en|n=1,2...n}, e={a,t0,t1}

a={ Affiliated_Network,Server_IP,Login_IP,Login_Account,LogIds,Login_Longitude,Login_Latitude}

1.4.3 郵件賬號異常登錄復雜事件EPL

事件描述：在T時間段內,同一郵件登錄賬號
2次登錄的IP地點的距離大于飛機在2次登錄時間內所飛行的最大距離,飛機時速按500 km/h計算。

1.4.4 生成賬號異常登錄告警的流程

啟動Storm集群時將會啟動3個拓撲并加載Esper引擎,每個拓撲是Storm運行的一個實時應用程序。在本文設計的模型中,Storm中的3個拓撲分別對應所設計模型中的3個引擎。

1）主題去重去噪拓撲——TopologySrc

對應模型中的標準化引擎,TopologySrc將采集到的郵件登錄日志進行識別、解析、分類、去重、去噪,生成較為規整的數據流,發送到下一數據關聯加強的拓撲中。

2）關聯加強拓撲——TopologyConvert

對應模型中的復雜事件語義分析引擎,將從上一個TopologySrc中標準化后的郵件登錄數據流發送到TopologyConvert,TopologyConvert將數據流與數據庫中的結構化離線位置知識庫關聯,加強出郵件登錄IP相關的位置信息,生成格式規范、信息完整的數據流。

3）分析拓撲——TopologyAnalysis

對應模型中的安全分析模型計算引擎,結合Esper引擎,經過該步驟的事件流在Esper的1 h滑動事件窗口中,讀取數據庫中的EPL語句進行場景關聯分析,EPL語句如下：

①create window EmailLoginFail1h.win:time_batch(1 hour) as EmailLogin;EmailLoginFail1h為
1 h內登錄失敗時間窗口。

②create schema HostLoginDistance as (Affiliated_Network string,Server_IP string,Login_IP string,Login_Account string,LogIds string,SlogStartId long,SlogEndId long,Reality double,FlyMax double);HostLoginDistance為創建的模式,模式中存儲服務器IP、登錄IP等關鍵信息及經過計算的飛行信息。

③insert into HostLoginDistance select e1.Affiliated_Network as Affiliated_Network,concat(e1.Server_IP,e2.Server_IP) as Server_IP,concat(e1.Login_IP,e2.Login_IP) as Login_IP,concat(e1.SN,e2.SN) as LogIds,e1.Login_Account as Login_Account,e1.SN as SlogStartId,e2.SN SlogEndId,calcReal(e1.Login_Longitude,e1.Login_Latitude,e2.Login_Longitude,e2.Login_Latitude) as Reality,calcFly(500D,e1.Login_Time,e2.Login_Time) as FlyMax from pattern [every e1=HostLogin -> e2=HostLogin(e2.Login_Account=e1.Login_Account and e2.Affiliated_Network=e1.Affiliated_Network and e2.Login_IP!=e1.Login_IP)]。

④insert into EventWarning select Affiliated_Network as affiliatedNetwork,Login_IP as attackSrc,Server_IP as attackTarget,SlogStartId as slogStartId,SlogEndId as slogEndId,LogIds as logIds from HostLoginDistance(Reality>FlyMax)。

符合條件的日志事件插入告警窗口,并生成最終告警,生成后,同一源IP符合關聯分析規則的生成一條告警,在平臺告警界面展示,安全分析人員在看到告警后可以回溯告警相關日志,進行其他人工分析,告警處置人員則需要與登錄異常IP的資產責任人聯系,進行排查,如確實存在問題則需封禁該源IP并按照公司內部規定進行其他處理操作。

以上安全關聯分析過程只需將去重去噪規則及郵件賬號異常登錄的復雜事件處理EPL固化存儲在數據庫中,待事件流到達自動執行進行關聯分析,無需人工干預,最終將大量的數據轉化成人工易于觀察的安全告警信息。場景規則EPL也可以通過交互式用戶界面自定義配置,配置后,Esper及Storm將重啟,熱加載將新配置的EPL規則作為大數據安全關聯分析的依據。

 2 模型實現與應用

本文設計的模型投入實際生產環境使用,模型的部署環境如下。

2.1 環境部署

使用了4臺Storm服務器組成的大數據分析集群,1臺數據庫服務器,1臺Web應用服務器,均預裝CentOS 6.5的Linux發行版本,Java編譯環境（JDK 1.7）、Storm和Esper引擎。網絡結構如圖5所示。

圖5 實際環境網絡結構Fig.5 Real environment network structure

在大數據時代,機器的硬件已由以往的縱向拓展轉變為了橫向拓展,生產環境亦是如此,當資源不夠時,大數據集群可以在現有部署結構的基礎上,擴展服務器節點的數量,提高安全日志的數據分析處理能力。搭建好大數據集群后,將程序部署在各節點,依照本文設計的模型實現大數據安全事件
分析。

2.2 實際運行結果集分析

通過實際部署的環境及以上的操作步驟,實現了基于復雜事件處理的大數據安全事件分析模型的完整安全數據分析流程,并實現了依據預定義規則和用戶自定義建立攻擊模型進而產生告警事件。在實際生產環境中,對采集裝置收集到的全量數據進行處理,每天約采集到2億條來自不同系統、不同類型的數據,基于Storm的高吞吐性及Esper引擎的關聯規則處理,在峰值時,每個worker每秒處理
2 000條數據,一個Slave節點依據分配有3~4個worker,數據處理的速度優于普通的數據處理速度,將海量數據快速識別、分解、標準化、分析,轉化為有用的信息,實現了大數據安全關聯分析實時、準確的目標。統計現場不同拓撲在不同時間節點處理的數據條數,結果如圖6所示。

其中,影響不同拓撲處理速度的原因在于：前置拓撲數據的輸出效率及每個拓撲的業務實現邏輯,TopologySrc每時刻處理的數據量最大,因為TopologySrc處理的采集裝置通過消息隊列Kafka推送到Storm的數據,而TopologySrc要做去重去噪會過濾掉一半左右不符合規范的數據,故TopologyConvert中需處理的數據量就減少了。同時,TopologyConvert是TopologyAnalysis的前置,這也決定了TopologyAnalysis處理的數據量。
3個拓撲中只有TopologyAnalysis結合了Storm和Esper 2類技術,其余2個拓撲只用Storm技術。

圖6 不同拓撲的數據處理效率Fig.6 Data processing efficiency of different topologies

從圖6不難看出,每天10點及15點左右數據量會達到一個峰值。但即使數據量增加,生產環境中使用所設計模型可以滿足大數據安全事件分析需求,該模型的實現是切實可行的。

 3 結語

本文采用Storm及Esper引擎,在已有大數據處理技術及復雜事件處理技術的結合改進基礎上,設計并實現了基于復雜事件處理的大數據安全關聯分析模型,達到了數據關聯分析生成告警的實時性、準確性的高要求。同時,在安全事件分析方法上采用了事件流語義分析、實時關聯分析兩種事件分析技術。與傳統的大數據安全分析方案相比,拋棄了人工的干預,高效地關聯了事件關鍵信息,生成了實時告警,靈活實現了規則熱加載。所設計的模型投入生產環境中使用,有實際應用價值。