網(wǎng)絡(luò)犯罪和其他惡意活動(dòng)的增加正在促使企業(yè)部署比以往任何時(shí)候都更多的安全控制以及收集更多的數(shù)據(jù)?，F(xiàn)在，企業(yè)開(kāi)始將大數(shù)據(jù)分析技術(shù)應(yīng)用到安全監(jiān)控中，試圖通過(guò)范圍更廣更深入的分析來(lái)保護(hù)寶貴的公司資源。大數(shù)據(jù)安全分析技術(shù)部分利用了大數(shù)據(jù)的可擴(kuò)展性，并結(jié)合了高級(jí)分析和安全事件與事故管理系統(tǒng)(SIEM)。
大數(shù)據(jù)安全分析適合很多用例，但并不適合所有用例。例如，我們應(yīng)該考慮一下檢測(cè)和阻止高級(jí)持續(xù)性威脅技術(shù)面臨的挑戰(zhàn)。使用這些技術(shù)的攻擊者可能會(huì)采用慢節(jié)奏、低能見(jiàn)度的攻擊模式來(lái)逃避檢測(cè)，而傳統(tǒng)的日志記錄和監(jiān)控技術(shù)可能無(wú)法檢測(cè)到這種攻擊，因?yàn)檫@種攻擊的各個(gè)步驟可能在單獨(dú)的設(shè)備執(zhí)行，跨越很長(zhǎng)的時(shí)間周期，并且看起來(lái)似乎沒(méi)有關(guān)聯(lián)。掃描日志和網(wǎng)絡(luò)流量中的可疑活動(dòng)有時(shí)候可能會(huì)錯(cuò)過(guò)攻擊者殺傷鏈的關(guān)鍵部分，因?yàn)樗鼈兛赡芘c正?；顒?dòng)的差別不大。而避免遺漏數(shù)據(jù)的方法之一是盡可能多地收集數(shù)據(jù)，而這正是大數(shù)據(jù)安全分析平臺(tái)中使用的方法。
顧名思義，這種安全分析方法利用了大數(shù)據(jù)工具和技術(shù)，這些工具和技術(shù)可收集、分析和管理高速生成的大量數(shù)據(jù)。這些相同的技術(shù)還被用于提高各種產(chǎn)品的效率，從針對(duì)流媒體用戶的電影推薦系統(tǒng)，到分析車輛性能特性來(lái)優(yōu)化運(yùn)輸效率等。但應(yīng)用到信息安全領(lǐng)域時(shí)，它們也同樣有用。
在評(píng)估大數(shù)據(jù)安全分析平臺(tái)時(shí)，一定要考慮以下五個(gè)因素，這五個(gè)因素是充分發(fā)揮大數(shù)據(jù)分析優(yōu)勢(shì)的關(guān)鍵：
● 統(tǒng)一數(shù)據(jù)管理平臺(tái);
● 支持多種數(shù)據(jù)類型，包括日志、漏洞和流量;
● 可擴(kuò)展的數(shù)據(jù)獲取;
● 信息安全專用分析工具;
● 合規(guī)性報(bào)告
總之，這些功能可提供廣泛的功能來(lái)收集高速生成的大量數(shù)據(jù)，并且快速分析這些數(shù)據(jù)，讓信息安全專業(yè)人員可有效地響應(yīng)攻擊。
第1個(gè)因素：統(tǒng)一數(shù)據(jù)管理平臺(tái)
統(tǒng)一數(shù)據(jù)管理平臺(tái)是大數(shù)據(jù)安全分析系統(tǒng)的基礎(chǔ);數(shù)據(jù)管理平臺(tái)負(fù)責(zé)存儲(chǔ)和查詢企業(yè)數(shù)據(jù)。這聽(tīng)起來(lái)像是眾所周知的已經(jīng)解決的問(wèn)題，而不應(yīng)該是一個(gè)重要的特性，但它確實(shí)很重要。由于關(guān)系數(shù)據(jù)庫(kù)無(wú)法像分布式NoSQL數(shù)據(jù)庫(kù)(例如Cassandra和Accumulo)那樣經(jīng)濟(jì)高效地?cái)U(kuò)展，處理大量數(shù)據(jù)通常需要分布式數(shù)據(jù)庫(kù)。不過(guò)，NoSQL數(shù)據(jù)庫(kù)的可擴(kuò)展性也有自己的缺點(diǎn)。例如，我們很難部署數(shù)據(jù)庫(kù)某些功能的分布式版本，如ACID事務(wù)等。
大數(shù)據(jù)安全分析產(chǎn)品下的數(shù)據(jù)管理平臺(tái)需要平衡數(shù)據(jù)管理功能與成本及可擴(kuò)展性。該數(shù)據(jù)庫(kù)應(yīng)該能夠?qū)崟r(shí)寫(xiě)入新數(shù)據(jù)，而不會(huì)阻止寫(xiě)入。同時(shí)，查詢應(yīng)該快速執(zhí)行以支持對(duì)入站安全數(shù)據(jù)的實(shí)時(shí)分析。
統(tǒng)一數(shù)據(jù)管理平臺(tái)的另一個(gè)重要方面是數(shù)據(jù)集成。
第2個(gè)因素：支持多種數(shù)據(jù)類型
我們通常會(huì)從數(shù)量、速度和種類來(lái)描述大數(shù)據(jù)。其中安全事件數(shù)據(jù)的多樣性給數(shù)據(jù)集成帶來(lái)了很多挑戰(zhàn)。
這些事件數(shù)據(jù)是按不同的細(xì)粒度級(jí)別來(lái)收集。例如，網(wǎng)絡(luò)數(shù)據(jù)包是低級(jí)別、細(xì)粒度數(shù)據(jù)，而有關(guān)管理員密碼變更的日志條目則為粗粒度數(shù)據(jù)。盡管存在明顯區(qū)別，它們還是可以關(guān)聯(lián)在一起。例如網(wǎng)絡(luò)數(shù)據(jù)包可以捕捉有關(guān)攻擊者到達(dá)目標(biāo)服務(wù)器采用的方法的數(shù)據(jù)，在攻擊者獲取目標(biāo)服務(wù)器訪問(wèn)權(quán)限后，就可以更改管理員密碼。
第3個(gè)因素：可擴(kuò)展的數(shù)據(jù)獲取
服務(wù)器、端點(diǎn)、網(wǎng)絡(luò)和其他基礎(chǔ)設(shè)施組件處于不斷變化的狀態(tài)。很多這些狀態(tài)變化記錄了有用的信息，這些信息應(yīng)該發(fā)送到大數(shù)據(jù)安全分析平臺(tái)。假設(shè)網(wǎng)絡(luò)有足夠的帶寬，那么，最大的風(fēng)險(xiǎn)就是安全分析平臺(tái)的數(shù)據(jù)獲取組件無(wú)法應(yīng)對(duì)入站數(shù)據(jù)。如果是這樣的話，數(shù)據(jù)可能會(huì)丟失，而大數(shù)據(jù)安全分析平臺(tái)則會(huì)失去價(jià)值。
系統(tǒng)可以通過(guò)對(duì)消息隊(duì)列中排隊(duì)數(shù)據(jù)維持高寫(xiě)入吞吐量，以適應(yīng)可擴(kuò)展的數(shù)據(jù)獲取。同時(shí)，有些數(shù)據(jù)庫(kù)專門(mén)用于支持高容量寫(xiě)入，它們采用僅允許附加的方式來(lái)寫(xiě)入，數(shù)據(jù)被附加在日志數(shù)據(jù)的后面，而不是寫(xiě)入到磁盤(pán)的任意塊，這可減少了隨機(jī)寫(xiě)入到磁盤(pán)而帶來(lái)的延遲。或者，數(shù)據(jù)管理系統(tǒng)可以維持一個(gè)隊(duì)列作為緩沖器，在數(shù)據(jù)寫(xiě)入到磁盤(pán)時(shí)保存數(shù)據(jù)。如果消息激增或者硬件故障減緩寫(xiě)入操作，數(shù)據(jù)可積累在隊(duì)列中，直到數(shù)據(jù)庫(kù)可以清除寫(xiě)入的積壓。
第4個(gè)因素：安全分析工具
Hadoop和Spark等大數(shù)據(jù)平臺(tái)是通用工具。雖然它們可以有效構(gòu)建安全工具，但它們本身并不是安全分析工具。分析工具應(yīng)該可以擴(kuò)展來(lái)滿足企業(yè)基礎(chǔ)設(shè)施中生成的數(shù)據(jù)，這樣來(lái)看，Hadoop和Spark等工具滿足這個(gè)標(biāo)準(zhǔn)。此外，安全分析工具應(yīng)該考慮不同數(shù)據(jù)類型之間的關(guān)系，例如用戶、服務(wù)器和網(wǎng)絡(luò)等。
分析師應(yīng)該能夠在抽象層面查詢事件數(shù)據(jù)。例如，分析師應(yīng)該能夠查詢使用特定服務(wù)器和應(yīng)用的用戶之間的關(guān)聯(lián)，以及這些設(shè)備之間的關(guān)聯(lián)。這種查詢需要更多圖形分析工具，而不是傳統(tǒng)數(shù)據(jù)庫(kù)中使用的行和列的查詢。
第5個(gè)因素：合規(guī)性報(bào)告
合規(guī)報(bào)告不再是“最好滿足”的要求，而是必須滿足的要求。很多因合規(guī)目的報(bào)告的數(shù)據(jù)元素都涉及安全最佳做法。即使企業(yè)不需要維持合規(guī)報(bào)告，這些報(bào)告也可以為企業(yè)提供很好的內(nèi)部監(jiān)督。
當(dāng)企業(yè)需要提供合規(guī)報(bào)告，企業(yè)需要審查各種大數(shù)據(jù)安全平臺(tái)中的報(bào)告制度，以確保滿足企業(yè)的業(yè)務(wù)需求。
有效部署大數(shù)據(jù)安全分析平臺(tái)
大數(shù)據(jù)安全分析利用了大數(shù)據(jù)平臺(tái)的可擴(kuò)展性，以及安全分析和SIEM工具等的分析功能。對(duì)于企業(yè)而言，重要的是認(rèn)識(shí)到這兩者的特性，以及有效部署大數(shù)據(jù)安全分析平臺(tái)所需的五個(gè)因素。簡(jiǎn)單地使用“安全”來(lái)重新命名大數(shù)據(jù)平臺(tái)或者堅(jiān)信SIEM可以處理大數(shù)據(jù)(盡管它并不是為此目的而構(gòu)建)并不是真正的大數(shù)據(jù)安全分析平臺(tái)。
（轉(zhuǎn)載）
