1、“大數據”時代

“大數據”是指一組數據集非常龐大且復雜，很難利用現有的數據庫管理工具進行處理。它有助于統一大型數據集，并能夠從分析中得出其它信息，而不是來自具有相同數據總量的單獨的較小數據集。大數據時代的來臨，帶來了很多現實中的難題，為了解決這些難題需要新的技術變革，需要新一代的數據庫技術，業界稱之為大數據技術。

在大數據應用時代，視頻因其信息含量最高、數據量最大，分析運算最復雜而成為大數據時代采集分析傳輸存儲應用最具挑戰的國際技術難題！智能視頻分析研究永無止境，分析算法必須以監控視頻為資源，研究實時或歷史監控視頻中的目標特征提取、增強與行為分析等關鍵技術，才能推動監控視頻應用模式從事后被動處置向事前主動預防轉變。

大規模數據在智慧城市系統流動過程中，出于傳輸效率、數據質量與安全等因素的考慮，需要對大規模數據進行預處理。大數據處理技術往往需要與基于云計算的并行分布式技術相結合，這也是目前國際產業界普遍采用的技術方案。大數據分析與挖掘技術為智慧城市治理提供了強大的決策支持能力。

互聯網技術的飛速發展已經為構建一個大型全國性的專業報警運營服務平臺提供了有力的技術支撐。通過這個報警平臺，報警運營服務商手中會累積海量的用戶數據，例如用戶的身份信息、警情數據、消費記錄、維修記錄等，這些都是非常寶貴的資源。報警運營服務商可以在此基礎上，應用大數據技術進行分析和挖掘，充分發揮大數據的商業價值。如公安系統中的圖偵技術，應用模式多樣，思維活躍，圍繞著“發現線索”的目的可衍生出多種技戰法，只有從這些具體的技戰法中才能提煉出需求，真正告訴系統的設計者“我們要什么”。

智能家居會產生大數據，同時也是大數據的重要應用領域，不然它極有可能將停滯不前。家庭產生的大數據能讓智能家居更“聰明”，但需要根據實際情況進行有效處理，而不是任何數據的“一鍋端”，通過大數據與云計算技術的結合應用，智能家居系統能夠第一時間對用戶家庭中智能設備的數據、信息進行有效分析、記憶，并將得到的規律反過來應用于智能設備，提升智能家居的智能效果。

2、安防體系設計思路

近年來，業界已經提出了多種大數據安防體系建設思路，但目前，仍然處于不斷地豐富和完善的階段。研究發現，大部分安防體系設計思路主要圍繞以下4點展開：（1）安全資源：安全策略的執行主體，對接信息通信技術（Information and Communications Technology，ICT）環境資源并提供策略執行的結果信息反饋。（2）安全資源管控系統：決策指令（安全策略）的執行傳達者，通過對安全資源的能力調度及策略下發，實現“風險可控”。（3）安全信息感知系統：接收安全資源的數據，提供決策依據和決策執行的反饋信息，實現“風險可知”。（4）安全運營決策系統：基于安全信息，通過安全運行進行安全決策，實現組織安全目標“風險可管”。

針對大數據安防體系設計思路分析，何健等人提出了構建適用于大數據環境的、立體動態的多層次安全防護體系；劉曉軍等人 從剖析大數據通用技術架構入手，總結了數據處理的相關流程，分析和對比了數據中臺并總結了其適用范圍和優缺點，最后聚焦多級架構模式下數據安全融合技術問題，提出了相應的解決辦法；張翠翠等人 提出了基于數據中臺的數據安全分級防護方案，給出了數據中臺“零信任”安全防護總體架構；賴新等人構建了基于云計算用戶層、數據傳輸層和云計算服務層的數據安全防護體系。

基于大數據的安全防護體系建設理念包括以下幾點：（1）智能感知系統：由安防設備、網絡設備、物聯網（Internet of Things，IoT）設備等構成，采集與網絡安全相關的數據和信息，就像人類的眼睛、耳朵、鼻子，源源不斷地把脫敏后的安全數據傳輸到“安全大腦”，由“安全大腦”進行智能的分析和決策。（2）大數據湖：存儲網絡安全大數據的平臺，相當于人的記憶中樞。（3）安全知識體系：包括各種威脅情報、安全資源庫、安全分析模型等等，是用于檢測、識別、分析、溯源各類網絡安全威脅的知識庫。（4）智能分析系統：采用人工智能、數據挖掘、可視化計算等一系列分析技術，實現對安全威脅的分析研判和處置。（5）智能學習系統：具備自我學習、自我演進的能力，實現對新的網絡安全威脅、攻擊方法等的識別功能。（6）人機智能交互輔助決策系統：利用安全專家經驗，通過智能人機交互方式，實現對安全威脅檢測、分析、溯源等的輔助決策。

3、安防體系架構

安全大數據平臺架構

在參考了上述關于安防建設體系的設計思路與建設理念后，結合實踐特性，本文有針對性地提出了安全大數據平臺的體系架構。該體系架構從邏輯層次上劃分為安全底座、安全中臺、服務總線、安全應用 4 個層次。

總體而言，安全大數據平臺架構可概括為“一腦雙核，四輪驅動”，具體由安全數據中臺、安全資源中臺、數據治理、安全事件、國家標準和技術協會（National Institute of Standards and Technology，NIST）的網絡安全框架（Cyber Security Framework，CSF）、數據驅動 6 個部分組成。其中“一腦雙核”是指以安全數據中臺和安全資源中臺為核心構建的智能感知控制體系：數據中臺提供安全數據采集、處理、分析、組織和集成的通道；資源中臺則是以數據中臺為基礎，為各種安全應用提供數據基礎服務能力。智能感知控制體系以資產為核心構建，不斷流動的安全事件經過安全大腦分析判斷之后反饋給安全管控平臺，通過策略管控手段作用到資產上，形成了管理與控制的通道。

“四輪驅動”是指以數據治理為手段，以安全事件為中心，以 NIST 的 CSF 為指導，以場景化驅動豐富的安全應用：數據治理是指構建安全事件主數據體系，如資產、病毒、漏洞、行為、威脅情報庫、安全資源庫等；以安全事件為中心，持續動態檢測和響應，在所有感知層收集的數據進入事件中心后，在策略管控下，在安全主數據、威脅庫和安全知識庫指引下進行實時或離線處理，響應系統會做出各種符合相應場景的響應；以 NIST CSF 框架為指導，構建資源中臺，對外提供包括識別、保護、檢測、響應、恢復在內的完整的安全能力和功能的輸出；以數據驅動豐富的安全應用，通過各類安全應用融合聯動，促使安全從原來的被動、割裂走向融合、場景化且能夠統一管理。

由此可以看出，安全數據管控能力的集中性，多種應用場景的適應性，以及支撐業務發展的可持續性是該架構的核心思路。

安防體系數據架構

在本文建立了安全大數據平臺后，安全防護問題實質上就演變成了數據問題，如何采集、計算、存儲、融合分析數據，直至挖掘出安全威脅是整個安防體系需要考慮的核心問題。如圖 3 所示，安全大數據平臺的數據架構在設計上與安全大數據平臺的體系架構類似，主要由數據采集層、數據計算層、數據服務層和數據應用層 4 部分構成。

數據采集層利用大數據技術收集網絡安全信息 。從業務類型來劃分，接入的數據主要包括安防應用系統埋點日志類數據、流量類數據、安全資源類數據、安全知識情報類數據和安全告警類數據等。數據抽取工具和自定義程序實現對數據庫、文本文件、流數據的接入。通過構建數據引接系統，支持多源異構數據接入，引入 Kafka 數據高速傳輸組件，能夠實現流量削峰，建立高效數據傳輸通道，最大化數據吞吐率，實現數據高速采集傳輸，減少數據時延，滿足對實時性要求更高的應用場景。

對于安全數據分析場景，數據處理需要實現流批一體化。從數據處理實時性來看，對一些時延性要求不高的業務場景，一般采用批處理方式，而對于實時處理要求比較高的業務場景，較多采用流式處理引擎，其處理過程為：數據同步工具從業務系統庫實時增量同步數據到 Kafka；數據通過 Kafka傳輸，經過消費同步到安全數據平臺的數據湖中；另外數據經過實時計算引擎 Flink 處理后，直接推送到前端數據應用中，進行數據可視化展示。

本層引入離線和實時數倉。數據倉庫設計采用分層的設計，這樣設計的原因是對于海量安全數據，需要對數據進行組織規劃，使其具有清晰的數據結構，方便數據有秩序地流轉，并且在數據開發過程中，能夠減少重復開發，統一數據口徑。

經過數據計算后，主要輸出的數據服務能力包括數據資源目錄服務、主數據服務、數據標準、數據共享服務、數據質量服務、數據血緣分析服務和元數據管理服務。每一類數據服務都由一組服務接口組成。

通過數據服務層打通各類安全數據與安全應用的通道，實現無縫銜接，以數據驅動安全業務發展。