摘 要 在通信技術(shù)、IT技術(shù)快速發(fā)展的作用下，網(wǎng)絡(luò)環(huán)境復(fù)雜度不斷提高，網(wǎng)絡(luò)攻擊持續(xù)性、破壞性、隱秘性等特征APT隨之增加。然而，傳統(tǒng)互聯(lián)網(wǎng)安全技術(shù)與情報(bào)追蹤存在問題較多，難以應(yīng)對(duì)現(xiàn)階段復(fù)雜多變的互聯(lián)網(wǎng)環(huán)境。因此，為增強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)信息感知能力，提升網(wǎng)絡(luò)安全檢測(cè)可靠性與網(wǎng)絡(luò)情報(bào)追蹤的真實(shí)性，基于大數(shù)據(jù)的網(wǎng)絡(luò)安全技術(shù)與情報(bào)得以衍生。

　　關(guān)鍵詞 大數(shù)據(jù);網(wǎng)絡(luò)情報(bào)追蹤;網(wǎng)絡(luò)安全分析

　　1 大數(shù)據(jù)的基本概念

　　大數(shù)據(jù)(big data，mega data)指的是以多種類、多元化的形式，源自于網(wǎng)絡(luò)各個(gè)層面搜集整合而來(lái)的海量數(shù)據(jù)組，大數(shù)據(jù)通常具有實(shí)時(shí)性特點(diǎn)。在技術(shù)的層面上審視大數(shù)據(jù)，其本身與云計(jì)算具有緊密聯(lián)系，對(duì)于大量數(shù)據(jù)信息的搜索極大的依賴于云計(jì)算分布式數(shù)據(jù)庫(kù)、云端儲(chǔ)存和分布式處理技術(shù)。

　　現(xiàn)階段，人類已經(jīng)入科技高度發(fā)達(dá)、信息流通廣泛、發(fā)展迅速的全新社會(huì)形態(tài)，人與人之間的交流頻率相對(duì)百年前提高了近20倍，現(xiàn)代人一周獲取信息的總量相當(dāng)于古人一生的信息獲取量，與此同時(shí)，大數(shù)據(jù)在科學(xué)技術(shù)不斷進(jìn)步的背景下得以衍生。有學(xué)者將數(shù)據(jù)比作為一個(gè)蘊(yùn)含巨大能量的石油礦，并按站石油的性質(zhì)對(duì)大數(shù)據(jù)進(jìn)行分類，例如，將深海石油等的開采成本較高的礦井，比喻為搜集難度較大的數(shù)據(jù)信息。再如，將石油儲(chǔ)量豐富、石油品質(zhì)優(yōu)良的油礦比喻為價(jià)值含量較高的大數(shù)據(jù)信息。

　　2 傳統(tǒng)網(wǎng)絡(luò)情報(bào)與安全探究工作存在的問題

　　2.1 傳統(tǒng)網(wǎng)絡(luò)安全分析中存在的問題

　　隨網(wǎng)絡(luò)技術(shù)的發(fā)展，IT構(gòu)架復(fù)雜度不斷提高，各種各樣應(yīng)用頻頻涌現(xiàn)，使業(yè)務(wù)與數(shù)據(jù)更加集中，應(yīng)用與互聯(lián)網(wǎng)的邊界也隨之模糊，邊界單一、控制點(diǎn)簡(jiǎn)潔的傳統(tǒng)網(wǎng)絡(luò)安全設(shè)施無(wú)法實(shí)際、高效的對(duì)整個(gè)互聯(lián)網(wǎng)進(jìn)行控制。現(xiàn)階段，我國(guó)網(wǎng)絡(luò)流量、安全日志等數(shù)據(jù)信息合理應(yīng)用于網(wǎng)絡(luò)安全分析的技術(shù)已經(jīng)較為成熟，然而，因?yàn)閮?chǔ)存與分析海量數(shù)據(jù)信息所帶來(lái)的成本消耗極高，系統(tǒng)安全日志對(duì)數(shù)據(jù)信息的儲(chǔ)存受時(shí)間限制嚴(yán)重，進(jìn)而對(duì)網(wǎng)絡(luò)安全問題難以實(shí)現(xiàn)實(shí)質(zhì)性應(yīng)對(duì)。同時(shí)，在利益的趨勢(shì)下網(wǎng)絡(luò)黑客攻擊方式不斷優(yōu)化，技術(shù)呈復(fù)雜多變特點(diǎn)，特殊木馬病毒、僵尸網(wǎng)絡(luò)、特殊蠕蟲病毒以及多種多樣的互聯(lián)網(wǎng)攻擊逐利性與目的性凸顯，然而，傳統(tǒng)網(wǎng)絡(luò)病毒排查、檢測(cè)具有隱蔽性和長(zhǎng)期性缺點(diǎn)，難以阻擋當(dāng)今千變?nèi)f化的互聯(lián)網(wǎng)攻擊形式。

　　2.2 傳統(tǒng)網(wǎng)絡(luò)情報(bào)追蹤中存在的問題

　　在通信、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)等多種現(xiàn)代信息技術(shù)飛速發(fā)展的背景下，互聯(lián)網(wǎng)中存在的威脅性情報(bào)信息不斷增加，陳舊的情報(bào)分析設(shè)備由于數(shù)據(jù)來(lái)源范圍小、內(nèi)容單一且信息之間相對(duì)獨(dú)立，致使難以滿足現(xiàn)階段新型情報(bào)采集與分析的客觀需求。例如，構(gòu)建高質(zhì)量、高效率的人工智能外部數(shù)據(jù)信息搜索系統(tǒng);對(duì)外部信息大量采集過程中非系統(tǒng)化數(shù)據(jù)的儲(chǔ)存與處理;開展高速檢索、實(shí)時(shí)情報(bào)追蹤等。

　　3 大數(shù)據(jù)對(duì)網(wǎng)絡(luò)安全與情報(bào)分析的重要意義

　　為提高網(wǎng)絡(luò)安全與情報(bào)分析的實(shí)效性，相關(guān)研究人員將大數(shù)據(jù)與傳統(tǒng)網(wǎng)絡(luò)安全技術(shù)相結(jié)合，實(shí)現(xiàn)大數(shù)據(jù)在網(wǎng)絡(luò)安全領(lǐng)域的現(xiàn)實(shí)應(yīng)用，即大數(shù)據(jù)安全分析(Big data security analysis)。大數(shù)據(jù)安全分析技術(shù)的誕生，極大地改善了傳統(tǒng)網(wǎng)絡(luò)安全問題。首先，大數(shù)據(jù)安全分析大幅提升了傳統(tǒng)網(wǎng)絡(luò)安全技術(shù)無(wú)法做到的大規(guī)模數(shù)據(jù)搜集，實(shí)現(xiàn)了降低數(shù)據(jù)儲(chǔ)存成本、提高數(shù)據(jù)儲(chǔ)存質(zhì)量以及數(shù)據(jù)提前處理。其次，解決了快速、海量、連續(xù)到達(dá)的數(shù)據(jù)序列——流數(shù)據(jù)(Data stream )的實(shí)時(shí)有效分析，以及大規(guī)模過往歷史數(shù)據(jù)信息的離線分析，并具備良好的網(wǎng)絡(luò)安全動(dòng)態(tài)洞察能力，實(shí)現(xiàn)了自主化、彈性化、智能化應(yīng)對(duì)當(dāng)今新型網(wǎng)絡(luò)威脅種種風(fēng)險(xiǎn)變幻莫測(cè)特點(diǎn)的能力。最后，實(shí)現(xiàn)了大數(shù)據(jù)網(wǎng)絡(luò)安全技術(shù)對(duì)網(wǎng)絡(luò)安全日志、威脅情報(bào)、網(wǎng)絡(luò)用戶操作行為等復(fù)雜多樣且具有關(guān)聯(lián)性數(shù)據(jù)的檢索功能，使網(wǎng)絡(luò)大范圍、多角度、全方位的數(shù)據(jù)信息得以集中分析，并為安全檢測(cè)完成了安全事件深入追蹤與研究的工作。

　　4 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報(bào)分析技術(shù)要點(diǎn)

　　4.1 大數(shù)據(jù)計(jì)算模式分類

　　大數(shù)據(jù)對(duì)網(wǎng)絡(luò)數(shù)據(jù)的計(jì)算形式分為兩種，一種是批量計(jì)算，另一種則是流計(jì)算。美國(guó)伊利諾伊大學(xué)厄本那香檳分校(University of Illinois，Urbana-?Champaign Urbana， IL)計(jì)算機(jī)實(shí)驗(yàn)室提出了關(guān)于數(shù)據(jù)分析的軟件棧，站在大數(shù)據(jù)信息科學(xué)計(jì)算的視角，將大數(shù)據(jù)現(xiàn)實(shí)處理技術(shù)分為批量數(shù)據(jù)、流數(shù)據(jù)技術(shù)以及數(shù)據(jù)信息查詢交互系統(tǒng)3個(gè)方面。

　　4.2 大數(shù)據(jù)計(jì)算模式分類基本性能分析

　　首先，批量數(shù)據(jù)計(jì)算處理技術(shù)，是先通過對(duì)海量信息數(shù)據(jù)的儲(chǔ)存，實(shí)現(xiàn)對(duì)靜止數(shù)據(jù)的綜合性集中計(jì)算，提高了海量數(shù)據(jù)信息處理吞吐量，批量數(shù)據(jù)計(jì)算雖然繁瑣復(fù)雜，但是時(shí)間卻較短，普遍計(jì)算時(shí)間從幾分鐘到幾小時(shí)不等。

　　其次，流數(shù)據(jù)計(jì)算技術(shù)的優(yōu)勢(shì)在于可對(duì)數(shù)據(jù)進(jìn)行及時(shí)性計(jì)算、及時(shí)性反饋，良好的迎接連續(xù)到達(dá)的數(shù)據(jù)序列并在內(nèi)存中加以直接計(jì)算，大幅降低數(shù)據(jù)計(jì)算拖延性，提高網(wǎng)絡(luò)安全技術(shù)時(shí)效性。與此同時(shí)，流數(shù)據(jù)計(jì)算技術(shù)與批量數(shù)據(jù)計(jì)算技術(shù)呈現(xiàn)出相輔相成的共進(jìn)關(guān)系，互補(bǔ)雙方不足，實(shí)現(xiàn)不同應(yīng)用場(chǎng)景的有效差異性對(duì)策，滿足不同時(shí)期數(shù)據(jù)計(jì)算需求。

　　最后，數(shù)據(jù)信息查詢交互系統(tǒng)將操作人員作為網(wǎng)絡(luò)安全分析的主體，把人對(duì)網(wǎng)絡(luò)安全的認(rèn)知體現(xiàn)在實(shí)際操作過程中。例如，工作人員在進(jìn)行實(shí)時(shí)網(wǎng)絡(luò)安全隱患排查時(shí)，通過對(duì)事件內(nèi)容、主體、客體特點(diǎn)特征的分析，采取針對(duì)性較強(qiáng)的應(yīng)對(duì)方法。再如，工作人員對(duì)谷歌公司Dremel查詢系統(tǒng)合理應(yīng)用，可直接對(duì)系統(tǒng)不規(guī)則的數(shù)據(jù)信息集合進(jìn)行現(xiàn)實(shí)操作，并快速得到反饋結(jié)果，進(jìn)而根據(jù)結(jié)果采取相應(yīng)的針對(duì)性措施。

　　5 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全分析與情報(bào)追蹤

　　大數(shù)據(jù)安全分析是當(dāng)今社會(huì)較為先進(jìn)的網(wǎng)絡(luò)安全分析和情報(bào)追蹤技術(shù)，大幅提升了互聯(lián)網(wǎng)數(shù)據(jù)信息安全檢測(cè)、風(fēng)險(xiǎn)預(yù)警和情報(bào)追蹤的控制水平，使數(shù)據(jù)信息掌控安全的全新網(wǎng)絡(luò)安全與情報(bào)理念得以形成。

　　推薦閱讀：大數(shù)據(jù)研究論文如何發(fā)表