0 引言

隨著網絡技術的快速發展,網絡空間安全形勢嚴峻,攻擊方式復雜多變,如各種病毒、木馬、拒絕服務、欺騙等攻擊。同時,隨著大數據時代的到來,惡意攻擊行為被掩蓋在數量龐大的正常網絡訪問行為之下。若想從海量數據中檢測識別出隱藏的攻擊行為,首先要能夠快速、準確地區分正常網絡行為和異常網絡行為。

傳統的檢測技術是基于特征簽名或規則的,對于已知的攻擊行為能夠高效、精確,但無法應對新出現的未知攻擊模式。因此,基于誤用和基于異常的檢測技術被提出,即通過對網絡行為進行建模來區分正常的網絡訪問和異常的網絡攻擊。這2類技術的核心均是對某類網絡訪問行為建模,本文將這2類技術統稱為網絡行為建模與異常檢測技術。行為建模與異常檢測技術可以彌補傳統基于特征簽名或規則檢測技術在未知攻擊識別方面的不足,此外,大數據時代下所積累的數據量也有利于對網絡行為建模。

 1 網絡異常行為檢測技術

1.1 基于核心算法的異常檢測方法

異常檢測是從數據中發現與預期的正常行為不符合的行為模式,而安全異常則可能是由攻擊者采取的惡意行動所造成的。根據采用的核心算法不同,異常檢測可分為以下6種方法。

1）統計方法。將給定的數據（通常為正常行為數據）擬合成一個統計模型,對新觀察項應用假設檢驗等統計檢驗手段來判斷其是否符合統計模型。如果計算結果低于閾值,則異常。該方法的優點是無需正常網絡行為的經驗知識而能自主學習,缺點是假設檢驗方法和參數選擇較為困難,易被將攻擊模擬成正常流量的偽裝繞過等。典型的方法包括有HIDE^[1]、LERAD^[2]、PAYL^[3]等。

2）基于分類的方法。通過構建一個顯式或隱式的分類模型,將網絡流量模式劃分成若干類,它的突出特點是需要標注數據進行行為模型的訓練,這個過程對資源的需求較高。這類方法通常使用包括k-近鄰、決策樹、支持向量機器等機器學習分類算法。該方法的優點是能夠使用新數據靈活更新擴展檢測系統,缺點主要是訓練所需的成本較高,且對新攻擊模型無檢測能力。典型的方法包括有ADAM^[4]、DGSOT^[5]、DNIDS^[6]等。

3）基于聚類和離群點的方法。聚類是指將對象劃分成組（稱為簇）的過程,目標是使得位于同一個簇內的對象相似度高,而位于不同簇內的對象相似度低。常用的聚類算法包括K-Means、DBSCAN等。基于正常網絡訪問行為量遠大于異常行為量的假設,這些離群點和一些包含數據點較少的簇被認為是異常。聚類算法的優點是不需要標注數據,計算開銷,且性能表現穩定,缺點是動態更新的復雜度較高,距離量度方式對結果影響大,且大多僅適用于連續性數值屬性（如實數型）。這類方法的典型代表有MINDS^[7]、ADMIT^[8]、PAIDS^[9]等。

4）基于軟計算的方法。基因遺傳算法、人工神經網絡、模糊邏輯、蟻群算法、人工免疫算法等都在此類方法之列,這些方法的不確定性和不精確性與網絡異常檢測問題的特征恰好符合,能夠良好應對數據樣本中存在的不一致性問題,而缺點在于大多數方法存在可擴展性問題。這類方法的典型代表包括GBID^[10]、RT-UNNID^[11]、FIRE^[12]等。

5）基于知識的方法。每起網絡事件都會與一系列預先定義的規則或攻擊模式進行匹配檢查,目標是能夠將已知攻擊使用一種泛化式的表達來覆蓋,這類方法包括有專家系統方法、基于本體的方法、基于邏輯的方法、基于規則的方法和狀態轉移分析方法等。這些方法的優點是檢測率高、健壯性高、靈活性高,主要缺點是需花費大量時間才能產生有價值的知識經驗,對于有偏差的數據可能會產生大量誤報,動態更新知識庫難度大等。典型的代表方法包括Snort^[13]、KBTA^[14]等。

6）基于組合學習的方法。組合學習是指綜合使用多種技術的方法總稱,主要包含集成方法、融合方法和混合方法3個子類別。集成方法的基本思想是構建若干個獨立的分類器,再對它們各自的結果進行加權組合得出最終的結論。組合的方法主要有3種,即裝袋 、提升和疊加 。融合方法主要針對于多數據源的場景,可以對來自不同源的數據進行綜合處理、分析與決策。典型代表方法包括有McPAD^[15]、HMMPayl^[16]、RT-MOVICAB-IDS^[17]等。

1.2 基于HTTP流量的異常檢測方法

基于HTTP流量的異常檢測方法主要是基于對提取出的HTTP數據包的分析,可以分為兩大類：一類是基于知識的方法,也就是將已知的攻擊使用某種方式進行有效表達,檢測過程即為知識庫匹
配^[18];另一類是基于分類或軟計算的方法,主要是使用一些機器學習算法或軟計算方法對提取出的HTTP數據包特征進行分類檢測模型的訓練構建^[19]。對HTTP流量提取這些特征后,基于標注數據集使用決策樹、支持向量機、人工神經網絡、模糊邏輯等算法進行檢測分類模型的離線訓練構建,即可用于在線的異常檢測。

1.3 基于NetFlow流量的異常檢測方法

基于NetFlow流量的異常檢測中最簡單同時也最常用的方法就是基于閾值的方法,只要統計的結果超過預先設定的閾值,則認為是異常流量。閾值的設定直接影響檢測的效果,不適當的設置可能會造成大量漏報或誤報。為了減少錯誤,通常輔助以基于特征比對的方法和基于連接狀態的方法。

1）基于特征比對的方法通過觀察每一種異常行為并歸納其攻擊特征,從而指導設定相應的閾值。如當某個IP地址符合特征的數量超過預設的閾值時,即判定為異常。

2）基于連接狀態的方法是指對網絡整體的連接狀態進行分析,其出發點是蠕蟲、病毒和DDoS 攻擊等都會在短時間內產生出大量的連接以實現傳播感染,而在新主機遭受感染后又會重復同樣的傳播行為再次產生大量連接,因此可以利用這個整體連接特征進行分析,找出網絡中存在的異常流量。

1.4 自適應的異常檢測方法

自適應可以分為兩大類,分別是指閾值自適應和模型自適應。前者是指根據實際的網絡環境動態調整異常判定的閾值,而后者是指檢測模型可以根據新出現的攻擊行為進行自適應學習和更新。

1）閾值自適應方法的主要出發點是網絡流量動態多變,一個網絡不同時段的流量是不同的,但是各個時段又呈現出一定的周期性。閾值自適應方法的典型代表是基于時間序列的方法^[20],包括有自回歸和移動平均模型ARIMA、Hot-Winters線性平滑模型、卡爾曼濾波平滑模型等。

2）模型自適應方法的主要特點是檢測模型可以根據網絡流量數據進行自學習和更新,從而能夠適應動態變化的網絡環境,提高對新攻擊的檢測能力^[21],因此,所有基于學習的方法均可劃分到這個類別中。

 2 網絡行為大數據異常行為建模

2.1 建模流程

網絡行為大數據異常行為建模檢測分若干個階段連續運行,分析在固定長度的連續時間窗口內抓取的網絡流量。

2.1.1 數據收集

1）首先是使用部署在網絡中的設備對網絡流量進行抓取,并根據HTTP流量、NetFlow記錄等數據格式的不同需求進行數據包的解析或匯總。為了適應大數據處理的需要,抓取的網絡流量數據將直接輸出到分布式處理平臺（如Apache Hadoop）以便后續的高效計算處理。同時網絡流量數據是一種數據流,可以借助如Apache Kafka等工具對其進行組織,形成從數據源（流量采集設備）到分布式處理平臺的數據管道。

2）抓取到原始流量數據后,將按連續的固定長度時間窗口對數據進行多分辨率流聚合。以NetFlow數據為例,Flow將在不同級別進一步聚合,從粗粒度到細粒度可以包含的級別有：時間窗口內的所有流量、同源端網絡前綴、同目的端網絡前綴、同源端IP地址、同目的端IP地址等。對聚合后的數據采用基于時間序列分析的技術,即變化檢測（change detection）算法來判斷某個時間窗口是否存在異常。

2.1.2 特征提取

在上一步驟中被判定為存在異常的時間窗口包含的所有流量數據將作為后續步驟的輸入,按照源端IP地址和目的端IP地址2種聚合鍵對流量數據進行聚合及特征提取,且這2個聚合鍵的選取對應著兩大類的網絡異常：“1-to-N”異常和“N-to-1”異常。

對于每種聚合的網絡流量數據,定義并計算提取的特征分別為：對于HTTP流量,可以是HTTP請求/響應數、請求參數個數/長度、請求參數字符分布熵等;對于NetFlow,可以是源/目的IP地址數、數據包數、數據包總字節數、數據包長度分布熵等。為適應大數據場景,采用分布式計算引擎（如MapReduce或Spark）來完成這些特征的計算提取。

2.1.3 網絡行為建模

提取特征后,即可應用聚類算法處理以形成網絡流量的分簇并計算相應的異常度值,從而完成對正常網絡行為和異常網絡行為的建模。本文將采用子空間聚類算法來產生不同的數據劃分,再在子空間上應用基于密度的聚類算法,在離群點的排序中采用證據積累聚類技術。

2.1.4 異常檢測

在得到各個離群點的不相似性度量及排序之后,異常檢測將通過基于閾值的方法完成,閾值的確定可以采用如下方法。

1）選用固定不相似性度量值,即通過經驗設置某個預定的不相似度量值作為閾