摘 要

网络安全态势感知（即NSSA），是应用在广域网中，具有动态地、整体地监控网络安全风险的手段。单纯防御对于当前信息网络是不够的，需要加强持续的安全监察与响应，这是目前信息行业一致认可的观点，所以NSSA就显得至关重要。而NSSA的系统的起点就是威胁情报的采集，对于网络安全态势感知的实现有着重要的意义。

安全情报的采集包括威胁信息、漏洞信息、安全事件信息等。其中漏洞信息是每一个广域网中NSSA系统都需要的，它致力与网络安全分析的知彼。目前是公开分散于网络安全信息权威平台上，所以本次研究将会着重实现各个平台信息的采集与存储。本次课题的研究将会采用目前主流的WebMagic爬虫技术实现数据抓取技术，并且配合SSH系统框架的使用，实现NSSA系统的第一阶段。实现的结果将会提供持久化的实时更新的漏洞信息数据，提供用户可视化获取数据。

本文的特色将会主要分析网络安全态势感知系统的威胁情报以及实现爬虫信息采集技术。

关键词：NSSA、威胁情报、信息采集、持久化数据、漏洞信息、爬虫

Abstract

Network security situational awareness (NSSA) is a method that is applied in a wide area network to dynamically and integrally monitor network security risks. The simple defense is not enough for the current information network, and it needs to strengthen the continuous security monitoring and response. This is the current view of the information industry unanimously approved, so the NSSA is very important. The starting point of the NSSA system is the collection of threat intelligence, which has important significance for the realization of network security situation awareness.

The collection of security intelligence includes threat information, vulnerability information, and security event information. The vulnerability information is required for every WAN system in the NSSA. It is dedicated to understanding network security analysis. Currently it is publicly distributed on the network security information authority platform, so this research will focus on the acquisition and storage of information on each platform. The research of this topic will adopt the current mainstream WebMagic crawler technology to realize data capture technology, and cooperate with the use of the SSH framework to implement the first phase of the NSSA system. The result of the implementation will provide persistent real-time updated vulnerability information data, providing users with visual access to data.

The features of this article will mainly analyze the threat intelligence of network security situational awareness system and implement crawler information collection technology.

Key Words：NSSA, threat intelligence, information collection, persistent data, vulnerability information, spider

目 录

第1章 绪论 1

1.1研究背景 1

1.2研究目的及意义 2

1.3国内外研究现状 2

1.3.1国外发展现状 2

1.3.2国内发展现状 3

1.4课题研究 3

1.4.1内容 3

1.4.2预期目标 3

第2章 系统建设背景与目标 4

2.1系统建设背景 4

2.2系统建设目标 4

2.3系统建设方法 4

第3章 系统分析 5

3.1需求分析 5

3.1.1功能性需求 5

3.1.2非功能性需求 6

3.1.3系统主要业务流图 7

3.2功能分析 8

3.2.1系统边界与系统主要参与者 8

3.2.2系统用例描述 9

3.2.2.1用户注册 9

3.2.2.2 用户登入 9

3.2.2.3查询信息 10

3.2.2.4 本地数据导出 10

3.2.2.5 修改密码 11

3.2.2.6 帐号注销 11

3.2.2.7 相关资料查询 12

3.2.2.8 数据信息爬取 12

3.3域类分析 13

3.3.1系统概念模型 13

3.3.2系统行为模型（主要业务） 14

第4章 系统设计 15

4.1系统架构设计 15

4.1.1软件架构设计 15

4.1.2硬件架构设计 16

4.2 爬虫技术设计 16

4.2.1分析目标网站 17

4.2.2 制定算法步骤 18

4.2.3 匹配正则表达式 18

4.2.4 爬虫框架——WebMagic 19

4.3系统详细设计 20

4.3.1 关键用例的详细设计 20

4.3.1.1 用户注册登入进入系统界面： 20

4.3.1.2 系统爬虫爬取数据信息 22

4.3.1.3 数据本地保存 22

4.3.2类图设计 22

4.3.2.1 Bean类图设计 22

4.3.2.2 Action类图设计 23

4.3.2.3 Service层类 23

4.3.2.4 Dao层类 24

4.3.2.5 其他工具类： 25

4.3.3数据存储设计 26

第5章 系统实施 27

5.1系统开发环境搭建 27

5.1.1 开发运行系统环境： 27

5.1.2 开发过程使用的软件 27

5.1.3 数据库即数据库操作软件 27

5.1.4 测试浏览器 27

5.2系统编码 27

5.2.1 系统非法访问拦截 27

5.2.1.1关键代码 27

5.2.2 定时爬虫任务 28

5.2.2.1爬虫 28

5.2.2.2关键代码 28

5.2.3 文件保存 31

5.2.3.1关键代码 31

5.3系统测试 32

5.3.1 功能点测试 32

5.3.2 非功能性需求测试 34

5.3.2.1性能测试 34

5.3.2.3 易用性测试 35

5.3.2.4 安全性测试 36

5.3.2.5 可维护性测试 36

第6章 结论 37

6.1系统建设取得的成果 37

6.2系统建设存在的问题 37

6.3进一步开发方向 37

参考文献 38

致 谢 39

第1章 绪论

1.1研究背景

如今，网络渐渐普及到人们的生活中，成为了生活上、工作中必不可少的一种沟通、交流以及获取新信息的一种重要手段。新世纪步入网络信息社会，网络的发展是必然的趋势。但是，网络的安全问题将会大程度上限制网络的发展进程。现如今，网络在物理上分为两大类：有线网、无线网。有线网络，这种网络的连接是依靠以太网的交叉电缆实现网络连接的，所以存在一根线对应一台主机。而无线网络是通过以公共电磁波作为载体，以实现传输信号数据的。这种无线电磁波在一定的范围内，只要具备有合适接收设备的人都是可以接收获取到该信号的。目前为了方便，使用无线网络的人数占相当大的一部分，这就导致了网络安全问题越发的严重。

就2017年，轰动世界的电脑勒索病毒Wannacry来说，截至到2018年4月，已经波及影响了近500万的电脑，这是一种精确获取数据并进行数据加密进行诈骗的病毒。这种病毒是产生在网络日益复杂，应用程序和数据越发地暴露在网络中的网络环境下，对于传统的网络安全以防火墙、IDS/IPS等为代表，单纯只做防御策略来说，是无法抵御住的。所以，据网络安全报道显示，到2020年，将会有6层以上的信息安全组织会将信息战略部署向监测和响应转型，从传统的网络安全的“被动防御”向“主动预防”的革新。根据现有网络安全的特性，网络安全态势感知是一种有效的手段。

安全态势感知是基于获取所有的实时信息来监测评估网络安全的情况，根据广域网中监控得到的各种指标来预测网络安全的趋势。将这种预测出的趋势结果提供给网络管理人员，方便他们进行提前的决策和部署安全防御方案。目前较为成熟的NSSA系统分为3个阶段的数据转换，底层是原始数据： 安全事件，从IDS（即：入侵监测系统^[1]）获取到的一系列网络安全信息。漏洞信息，从各大漏洞信息公开平台获取到的实时发布的漏洞信息；中层是评估模型数据：将底层的数据处理后获得到评估模型。上层是感知模型数据：将评估数据与当前网络区域进行关联获得评估数值，对当前网络区域安全进行感知反馈。

对于一个NSSA系统起步就是获取原始数据，所以本文将着重实现实时获取网络上公开平台的漏洞信息数据。

1.2研究目的及意义

21世纪的网络是在大数据环境中的，其规模有着越来越大的趋势，网络的安全威胁变得多层面，攻击行为也向着高复杂化、大规模、高分散化发展。在这样日益严峻的网络安全情况下的，NSSA技术作为一种先进的、适合以及基于大数据环境下的安全感知手段，对当前的信息网络以及未来信息科技发展有着巨大的推动作用。

基于大数据的系统，对于底层数据的获取就显得至关重要，所以本文研究、实现用户获取安全漏洞信息的可视化交互系统，将不同平台的数据实时反馈给用户，并提供本地持久化的数据存储。可以实用于所有需要获取漏洞信息的NSSA系统，同时将显示蜜罐网站受攻击的实时情况。本文将会为NSSA系统的进一步开发打下数据基础。

1.3国内外研究现状

1.3.1国外发展现状

态势感知，最早是起源于美国空军^[2]，并被提出了，态势感知被定义分为三个层次：信息感知、信息理解、态势评估。当时主要应用于飞行员在控制飞行器的复杂情况下对环境以形势的预判。

正式开始于网络中，是在1999年，由Tim Bas首次在文献^[3]中发表了NSSA的定义，在文献中说明了NSSA目的是提取相互独立的IDS系统中的攻击信息，进行融合用于网络安全的评估。在这同一年，Blyth.Andrew也在文献^[4]中阐述了如何根据系统受到的黑客攻击的记录得出网络受到定性的威胁评估。但是，这些文献论述的是理论，并没有实现的模型。一直到了2001年，信息提取与传输（Information Extraction amp; Transport）在进行对“检测网络攻击的方法和其影响网络安全的联系”的时候，研发了SSARE^[5]，这是一种可以在广域网中监测到受到的网络攻击以及进行网络安全威胁评估预测响应的工具。至此，NSSA开始从理论转为实践，但是由于SSARE的决策方案太依赖于专家的经验，过于主观。在2005年为了解决这个问题，以Jajodia为主的研究人员设计了“拓扑网络弱点检测分析工具”——TVA^[6],这是一个可以根据当前网络的拓扑情况，发现弱点并得出当前的网络的安全形势。在2012年，利用当前已有的网络安全分析工具进行网络安全态势的评估，在Stephen E. Smith发表的文献^[7]中出现了。这些网络安全工具大致是IDS、防火墙流量分析等。初步开始使用了现有安全工具获得到的数据进行安全评估。

目前SIFT（即：安全事件融合工具）项目正在在美国NCASSR（即：国家高级安全系统研究中心）进行中。以及一项关于将Netflow工具集成的研发项目在Carnegie Mellon University的SEI（即：软件工程研究所）进行中。

1.3.2国内发展现状

我国对于NSSA的研究起步相对于西方国家是比较晚的，近几年来，随着中国信息网络的发展普及，对于网络安全的研究逐渐开始成为了国家及社会的焦点。目前国内的一些学者已经发布了一系列对于NSSA的研究结果。如来自西安交大的陈秀真教授等人对于基于IDS等网络安全监视工具采集数据，进行网络安全的评估^[8]。2012年，南京理工大学的刘刚发表了对于传统网络安全风险的评估方法存在缺陷的观点，并在文中指出了两个信度的概念，即漏洞信度与攻击信度，研发了一种基于信度进行向量正交投影分解安全网络的估险策略^[9]。2016年，王坤、邱辉等人对已有的NSSA评估的方法进行了较全面的分析与比较，并提出了基于攻击模式识别的网络安全态势感知评估的方法^[10]。2017年，中共中央办公厅发表了《推进互联网协议第六版（IPv6）规模部署行动计划》^[11]，计划中明确指出了为了强化国家网络安全，提高国家网络安全保障，要提升网络安全态势感知能了，进行快速侦查打击。

综上可以看出，国家及社会专业人士对于NSSA的研究在持续的进行中，即使起步的时间比较晚，但是研究还是在逐渐成熟中。对于国内当前的网络情况，NSSA的研究是必不可少的。

1.4课题研究

1.4.1内容

本次课题主要研究漏洞信息的获取，如何更加有效率地、准确地、实时地获取网络信息安全平台上公布的威胁漏洞信息，致力于爬虫抓取数据的技术上，并将其用可视化的系统形势展示出来，同时提供可以进行本地数据存储的操作。通过可视化的手段，直观地展现目前蜜罐网站实时收到的攻击情况。

1.4.2预期目标

实现课题研究内容，集成一个系统，同时优化系统功能，留下一些系统的相关入口，为实现完整的NSSA系统做准备。

第2章 系统建设背景与目标

2.1系统建设背景

随着网络安全问题的日益严峻，国家和社会对于网络安全问题的关注度也越来越高。传统的网络安全手段对于如今信息量规模大、信息复杂度高、信息多层次化的情况下，防护能力被大大削弱。于是出现了NSSA，NSSA系统是目前对网络安全防护的有效的新手段，对于这个网络安全防护的实现目前还未成熟。当前，对于NSSA系统所需的漏洞信息的获取，没有一个整合的公开平台，可以为NSSA系统提供原始数据。本次课题是就是为了解决这个数据平台的问题，满足NSSA系统对于原始数据的需求，为NSSA提供整合各大网站实时的漏洞信息。

2.2系统建设目标

此次系统的建设目标为：高效准确、实时收集、集中可视化、持久化存储

高效准确，获取信息应该高效，数据源应该具有高度的权威性以及数据信息应该准确。

实时收集：系统部署在服务器上，应该可以自动在空闲时间自动收集相关的数据信息，无需管理人员人工进行操作。

集中可视化，数据信息收集后的结果显示在系统的操作界面，提供所有数据的整合显示，并有相应的查询显示。

持久化存储，数据信息不仅存储在服务器的数据库，同时应该可以提供用户下载的接口，可以将数据信息以常用的文档形式下载在本地。

2.3系统建设方法

分析设计阶段：面向对象的方法^[12]。

开发阶段：因为本课题系统的需求简单明确，是作为NSSA系统的一部分，结构简单，所以决定采用的是直线式的开发建设策略，根据最初的需求说明，一直到最终的系统实现，每完成一个模块都要进行评审，验证是否和需求一致。

测试阶段：系统集成测试。

第3章 系统分析

3.1需求分析

本次课题的系统主要是作为一个数据情报采集的系统，所以主要的功能性需求就是将收集的数据信息可视化以及本地导出，非功能性需求就是采集数据过程中的运行效率以及数据准确率。因为作为NSSA系统的一部分，该系统还应该考虑到系统整合问题，所以在非功能性中应该加上系统可维护性。

3.1.1功能性需求

本系统设计有一下功能模块：

1. 首页显示

1.1 网络安全信息直观可视化的大屏显示界面

1. 漏洞信息模块
   1. 漏洞信息查询显示：

根据查询某天显示查询的数据信息

• 1. 漏洞信息本地路径保存：

根据用户浏览器设置的下载的本地保存的地址保存数据。

1. Web蜜罐模块
   1. 当月数据显示

显示本月的Web蜜罐受到工具的数据信息

• 1. 历史数据显示

根据查询显示之前月份的历史数据信息

1. SourcrIP数据模块
   1. 当日数据显示

图与表显示当日top 10 SourceIP受到攻击的数据图以及top 100 SourceIP数据信息，表格具体显示。

• 1. 历史数据显示模块

根据查询显示某日100个SourceIP受到攻击的数据，表格具体信息显示。

• 1. IP具体信息查询模块

根据输入的ip查询具体ip的信息显示。

1. 系统相关资料模块
   1. 相关词汇表显示

网络安全信息相关词汇的定义查询与全部显示

• 1. 系统使用手册

系统介绍以及数据爬取的相关信息。

1. 系统用户模块
   1. 用户注册\登入\注销

用户输入注册密钥，注册成功后，该系统将对该用户开发使用权限。用户需要登入系统才能进行相关数据信息的操作。用户注销后停止当前系统使用权限，需要重新登入。

• 1. 用户修改密码

用户登入后可以修改密码。

• 1. 用户帐号注销

用户选择帐号注销之后将消除该用户使用系统的权限。

3.1.2非功能性需求

本次课题的非功能性需求主要是：性能需求、可靠性需求、易用性需求、安全性需求

1. 性能需求

系统服务器响应时间在4s内，数据抓取运行时间在空闲段，减少系统运行负担。

1. 易用性需求

用户界面的美观、易用，有准确的信息提示。系统风格样式统一，布局符合一般网站的样式，符合大众的使用习惯。

1. 安全性需求

设置了系统拦截器，拦截非法访问，如：无用户登入的服务请求等。

1. 可维护性需求

系统模块之间应该低耦合，业务逻辑之间解耦。系统预留接口，方便以后NSSA系统的整合。系统的可拓展性强、易维护。

3.1.3系统主要业务流图

图3.1 系统主要业务流图

3.2功能分析

3.2.1系统边界与系统主要参与者

系统的主要参与者是系统的使用用户以及系统获取数据的数据源。本课题系统的数据源主要是国内以及国外比较权威的网络安全数据信息的公布平台：

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：