隨著威脅參與者不斷發(fā)展其策略和技術(shù)(例如，在加密流量中隱藏攻擊)，保護組織變得越來越具有挑戰(zhàn)性。

機器學(xué)習(xí)加密流量分析

為了幫助解決這些問題，許多網(wǎng)絡(luò)安全和運營團隊更多地依賴機器學(xué)習(xí)技術(shù)來識別網(wǎng)絡(luò)流量中的故障、異常和威脅。但隨著加密流量日益成為常態(tài)，傳統(tǒng)的機器學(xué)習(xí)技術(shù)也需要發(fā)展。在本文中，我想看看今天使用的機器學(xué)習(xí)模型的類型，并探索如何將它們與Deep Packet Dynamics(DPD)技術(shù)配對，以了解可能隱藏在加密流量中的威脅。

要成功使用機器學(xué)習(xí)、NOC和SOC團隊，需要三件事：數(shù)據(jù)收集、數(shù)據(jù)工程和模型評分。

數(shù)據(jù)收集涉及直接從網(wǎng)絡(luò)數(shù)據(jù)包流中提取元數(shù)據(jù)。數(shù)據(jù)工程是將原始數(shù)據(jù)移動到正確的位置并將其轉(zhuǎn)換為模型輸入的過程。這包括數(shù)據(jù)標(biāo)準(zhǔn)化和功能創(chuàng)建等任務(wù)。模型評分是將機器學(xué)習(xí)算法應(yīng)用于數(shù)據(jù)的最后階段。這包括訓(xùn)練和測試模型的必要步驟。

從歷史上看，機器學(xué)習(xí)一直依賴于批處理模型。對于花園式大數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)管道運行良好。模型使用歷史回顧性數(shù)據(jù)進(jìn)行離線訓(xùn)練。稍后，它將部署在已保存以供分析的數(shù)據(jù)上。

它的工作原理是這樣的：首先，團隊創(chuàng)建了一個高度工程化的數(shù)據(jù)管道，將所有數(shù)據(jù)移植回一個巨大的數(shù)據(jù)湖中。接下來，通過運行查詢和預(yù)處理腳本來創(chuàng)建歷史要素。最后，在大量數(shù)據(jù)集合上訓(xùn)練模型。準(zhǔn)備就緒后，訓(xùn)練的模型將移動到生產(chǎn)環(huán)境，這需要將每個數(shù)據(jù)處理步驟轉(zhuǎn)換為面向外部的應(yīng)用程序。

存儲和處理大量數(shù)據(jù)(即需要專用工具進(jìn)行存儲和處理的“大”數(shù)據(jù)，而不是以傳統(tǒng)數(shù)據(jù)庫記錄格式存儲)的成本可能過高，這可能會使人望而卻步。這種機器學(xué)習(xí)方法需要大量的擴展和資源。它對于具有較大時間范圍的模型開發(fā)和預(yù)測模型非常有用。

但是，隨著網(wǎng)絡(luò)流量的增長，有一種較新的替代方案稱為流式機器學(xué)習(xí)。它利用的資源占用空間要小得多，同時超過了最高帶寬網(wǎng)絡(luò)的性能要求。當(dāng)與加密流量分析相結(jié)合時，組織擁有一個強大的工具，可以提供有關(guān)網(wǎng)絡(luò)威脅的可見性。從歷史上看，對網(wǎng)絡(luò)流量的研究是使用深度數(shù)據(jù)包檢測(DPI)完成的，但是隨著越來越多的流量現(xiàn)在被加密，它變得越來越?jīng)]有用處。這推動了市場采用一種稱為Deep Packet Dynamics(DPD)的新技術(shù)，該技術(shù)提供了豐富的元數(shù)據(jù)集，無需有效載荷檢查即可完成。

DPD功能包括流量特征，如生產(chǎn)者/使用者比率、抖動、RST、重新傳輸、數(shù)據(jù)包長度和時間序列(SPLT)、字節(jié)分布、連接設(shè)置時間、往返時間等。它提供了非常適合機器學(xué)習(xí)的高級功能，并且可以有效地識別簡單和增強方法無法捕獲的模式和異常。但它們不能以追溯方式計算，它們必須在流量實時流經(jīng)時捕獲。這種形式的密碼分析通過消除解密和檢查流量的處理密集型中間人(MITM)技術(shù)來增強隱私。

通過將流式處理機器學(xué)習(xí)與DPD相結(jié)合，SOC和NOC團隊可以更輕松地實時檢測高級威脅。例如，這種方法可以發(fā)現(xiàn)網(wǎng)絡(luò)上正在進(jìn)行的勒索軟件攻擊，包括橫向移動，高級網(wǎng)絡(luò)釣魚和水坑攻擊，內(nèi)部威脅活動等等。這種方法還消除了加密盲區(qū)，并恢復(fù)了網(wǎng)絡(luò)防御者的可見性。

到2025年，幾乎所有的網(wǎng)絡(luò)流量都將被加密。隨著加密的增長(以及新的威脅)，組織必須更加依賴流式機器學(xué)習(xí)(包括機器學(xué)習(xí)引擎)和加密流量分析，以獲得對異常流量的必要可見性。沒有它，攻擊者將繼續(xù)繞過傳統(tǒng)的安全機制，隱藏在加密中，并成功完成攻擊。