摘 要

随着互联网、移动互联网以及物联网的高速发展，人类社会发展进入了大数据时代，网络平台成为公众信息传递和交互共享的媒介新平台和舆论的新中心。作为社会舆情在大数据时代的重要表现形式之一，网络舆情极大地影响了群体性冲突事件的产生和演化发展。因此，政府要监测和防范频发的群体性事件，减少群体性事件带来的社会损失，就必须加强对网络舆情的监管。通过综合利用大数据挖掘和分析等技术对网络舆情信息进行监测和预警，合理引导网络舆情消减以及对群体性事件的演化及时预警。

本文旨在通过文献研究及案例分析，探索大数据时代的网络舆情的特征与规律，分析大数据环境下政府网络舆情监测面临的机遇和挑战，总结大数据分析技术应用于网络舆情监测的优势，并针对目前存在的问题探索性地提出对策与建议，以期有效提升政府在大数据视野下的网络舆情监测能力。

关键词：网络舆情；网络舆情监测；大数据分析

Abstract

Along with the rapid development of Internet, mobile Internet and Internet of things, the development of human society entered the era of big data, network platform become public information sharing and interaction platform for the new media and public opinion of the new center. As one of the important manifestations of social public opinion in the era of big data, online public opinion greatly affects the generation and evolution of mass conflict events. Therefore, in order to monitor and prevent frequent mass incidents and reduce the social losses caused by mass incidents, the government must strengthen supervision of online public opinion. Through the comprehensive use of big data mining and analysis and other technologies to monitor and warn the network public opinion information, reasonably guide the network public opinion reduction and the evolution of mass events early warning.

The purpose of this paper is to through the literature research and case analysis, to explore characteristics and regularity of the network public opinion of the era of large data, analysis of large data environment opportunities and challenges facing the government network public opinion monitoring, summarize large data analysis technology was applied to the advantage of network public opinion monitoring, and according to the present problems existing in the exploratory countermeasures and Suggestions are put forward, in order to enhance the government in the perspective of big data of network public opinion monitoring ability.

Key Words：Network public opinion; Network public opinion monitoring; Big data analysis

目 录

第1章 绪论 1

1.1 研究背景及意义 1

1.2 相关概念 2

1.3 研究内容、方法及技术路线 3

第2章 基本理论及国内外研究综述 6

2.1大数据 6

2.2 网络舆情 7

2.3 网络舆情监测方法 9

第3章 大数据环境下政府舆情监测面临的挑战与机遇 10

3.1 大数据背景下网络舆情监测工作面临的难题 ............................10

3.2 大数据给网络舆情监测工作带来新的机遇 10

第4章 大数据环境下网络舆情监测方法分析 13

4.1 搜索引擎日志分析 13

4.2 文本挖掘 13

4.3 基于隐马尔可夫模型的 Web 文本挖掘技术 14

第5章 政府网络舆情监管案例分析 17

5.1 事件概览 17

5.2 舆情分析 17

5.3 应对点评 19

第6章 有效提升政府网络舆情监测能力的建议 21

6.1 目前政府网络舆情监测工作中存在的主要问题 21

6.2 有效提升政府网络舆情监测能力的建议 21

第7章 结论 24

参考文献 25

致 谢 27

第1章 绪论

1.1  研究背景及意义

1.1.1 研究背景

随着互联网、物联网以及移动互联网的高速发展，人类进入了数据爆炸的时代,网络成为继报纸、广播、电视三个传统媒体之后的第四新兴媒体。根据中国互联网络信息中心（CNNIC）发布第41次《中国互联网络发展状况统计报告》，截至2017年12月，我国网民规模达7.72亿，普及率达到55.8%，超过全球平均水平（51.7%）4.1个百分点，其中，手机网民规模达7.53亿。上网浏览新闻网页、查看微博、发表评论则占据了人们很大部分的网络时间。我国网民规模继续保持平稳增长，互联网模式不断创新、社交媒体多种多样、信息技术不断更新发展，庞大的人群和应用市场，复杂性高，充满变化，使得中国成为世界上最复杂的大数据国家。公众通过网络平台交流、传递和汇聚各种信息数据，形成一个虚拟的 “超大舆论场” ，即网络舆情大数据集合。大数据时代的到来，使网络舆情在使网络舆情在数据集合的体量、复杂性和产生速度等方面发生巨大变化。

作为社会舆情重要表现形式，网络舆情既有正面的舆论，也有负面情绪的宣泄。当网络舆情非理性或极端化表现时，就容易激化矛盾双方的对立或对抗，产生网络群体性事件，引发公共危机。因此，各级政府部门加强了对网络舆情的监测与预警，不断创新和提高舆情管理手段，但是在网络舆情监测分析实践中仍面对很多难以解决的问题与挑战。近年来大数据技术的迅速发展为网络舆情监测、分析和判断提供了新的视角和机遇。因此如何利用大数据引发的监测技术管理变革成果，以大数据分析为主要手段提升网络舆情监测和应对能力，对于有效提升政府网络舆情监测与分析能力就显得尤为紧迫和重要。

1.1.2 理论意义

建立完善的舆情监测、分析、应对机制并非轻而易举，舆情监测是涉及多个学科领域的交叉性、综合性工作，又要适应快速发展的网络社会的变化，还未形成较科学的、成熟的、完整的监测理论和方法体系。对于网络舆情管理来说，大数据不仅是提升舆情监测能力的一种技术路径，也必然带来整个网络舆情管理领域的变革。大数据技术为网络舆情监测带来技术支撑与技术优势，可以为更快捷、更准确、更全面地监测和应对舆情提供可能。通过大数据分析、预测，可以使政府在舆情管理中更加精准决策。然而，国内外政府网络舆情管理和舆情监测领域与大数据背景结合的的文献研究较少。旨在通过本论文的研究，推动网络舆情监测与大数据分析相关领域理论的交叉，促使我国舆情监测研究的视角更加多元化和精确化，推动网络舆情理论研究工作发展。

1.1.3 现实意义

由于互联网技术的迅速发展，大数据理念已经渗入到网络中的方方面面，如何通过科学技术手段对网络舆情进行高效的监管分析是实现社会主义现代化健康发展的首要任务。大数据技术与思维为提升政府监测预警能力提供了新的路径与视角。本论文研究旨在通过介绍和分析大数据挖掘和分析技术在网络舆情监测和分析中的应用， 实现大数据整合与网络舆情监测预警相结合，提升政府网络舆情管理能力。

首先，加强网络舆情分析研判，有效防止和依法打击有害信息传播。加大网络正面宣传力度，巩固壮大网络主流舆论，积极做好突发事件网上舆论引导，及时发布权威消息，加强主流文化传播，培育健康向上的网络文化，引导广大网民成为和谐社会的建设者。对各级政府机关而言，如何加强对网络舆论的及时监测、有效引导，如何应对网络舆论危机并及时化解，对维护社会稳定、促进社会发展具有重要的现实意义。

其次，精准收集舆情信息，预判舆论走向。如此众多的网民在网络虚拟空间的自由言论，使得互联网成为大众麦克风，政府对网络舆情的监测，收集、整理民众在网络上对社会事件和社会问题的认识、态度、意见和情绪，把握民众的政治取向和其对社会管理者所持有的社会政治态度，是了解社情民意的必要手段。

1.2相关概念

1.2.1 大数据

大数据时代的来临首先是由数据的丰富度所决定的。社交网络兴起，大量的UGC(User Generated Content，用户原创内容)、音频、文本信息、视频、图片等非结构化数据出现了。另外，物联网的数据量更大。此外，移动互联网能更准确、更快速地收集用户的位置、生活信息等数据、从数据量来说，目前已进入大数据时代，但现在的硬件明显已跟不上数据发展的脚步。

周苏等人在《大数据技术与应用》中提到： 大数据(Big Data)是指用现有的一般技术难以管理的大量数据的集合，即所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内实现获取、管理、处理、并使之成为有效的辅助企业经营决策的信息。

而杨明刚则认为，“大数据”通常指解决问题的一种方法，即通过收集、整理方方面面的数据，并对其进行分析挖掘，进而将其用于从中获得有价值的信息。

大数据是指无法用现有的技术进行管理的海量复杂的数据集合。

1.2.2 网络舆情

舆情，广义上来讲，舆情是指在一定的社会空间内，围绕社会事项的发生、发展和变化，作为主体的民众对作为客体的国家管理者产生和持有的社会政治态度，通俗来讲，就是泛指社情民意。网络舆情，即网络上的社情民意，是指公众利用网络社交平台，基于自身的文化结构、教育背景、政治主张等，对所关注的事件发表言论、态度和看法的总和，通常带有明显的主观意愿和情感偏向。

刘毅在其著作《网络舆情研究概论》中给网络舆情下了如下定义：“简单地说，网络舆情就是通过互联网表达和传播的各种不同情绪、态度和意见交错的总和。”而网络舆情信息则是“民众在互联网上发布和传播的能够反映民众舆情的文字、图像、音频、视频等，往往是以文字形式为主”。^[1]

利用大数据分析技术，从海量网络数据中提取并整合公众对于公共事件表现出情绪、态度和意见等信息，政府网络监管部门可以快速而精准地锁定舆情焦点，采取相应的应对措施。国内学者李金海等指出，大数据并不单单指海量数据，而是包括海量数据以及对海量数据的处理方法。网络舆情并不是网络世界中直接存在的数据，而是通过相关技术从海量网络数据中经过提取并分析得来的结果。网络舆情的获取正好体现出了大数据的思想。^[2]

1.2.3网络舆情监测

网络舆情形成迅速，对社会影响巨大，加强互联网信息监管的同时，组织力量开展信息汇集整理和分析，对于及时应对网络突发的公共事件和全面掌握社情民意很有意义。

网络舆情监测是对互联网上公众的言论和观点进行监视和预测的行为。这些言论主要为对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点。

就技术保障而言，网络舆情监测是指整合互联网信息采集技术及信息智能处理技术，通过对互联网海量信息自动抓取、自动分类聚类、主题检测、专题聚焦，实现用户的网络舆情监测和新闻专题追踪等信息需求，形成简报、报告、图表等分析结果，为客户全面掌握群众思想动态，做出正确舆论引导，提供分析依据。

1.3 研究内容、方法及技术路线

1.3.1研究内容

本文研究的主要内容是在文献研究及案例分析的基础上把握大数据环境下的网络舆情在国内外的研究现状及发展趋势，经过分析、归纳目前政府网络舆情监测工作在大数据时代所面临的机遇和挑战，并指出借助大数据技术推进政府网络舆情监测工作的必要性，进一步探究数据挖掘技术应用于网络舆情监测的优势及政府在这方面存在的问题，探索性地提出大数据分析技术在网络舆情监测中应用的对策，提升政府在大数据视野下实施有效的网络舆情监测、分析和预警。

1.3.2 研究思路及技术路线

研究思路：

①在阅读大数据文献、网络舆情管理理论的基础上，进一步收集其相关的理论和实践应用方面的文献与资料，把握国内外在该领域研究成果、研究热点和动向、发展趋势；

②归纳分析目前政府网络舆情监测在大数据环境下面临的机遇和挑战，总结指出运用大数据技术是今后网络舆情监测的发展趋势；

③在以上基础上，进一步探讨数据挖掘技术在网络舆情监测方法中的运用及与传统方法相比所体现出来的优势；

④通过网络舆情案例分析，发现目前政府网络舆情监控中存在的主要问题，结合这些问题提出有效提升政府网络舆情监测能力的对策及建议

技术路线图：

相关概念

国内外研究现状

机遇与挑战

方法技术分析

存在问题

对策及建议

文献研究

案例分析

1.3.3 研究方法

一是文献研究法。查阅舆情管理学、舆情监控、大数据相关领域的著作、杂志、中外文期刊及机构报告。在阅读、分析、整理、归纳后，构建了本文研究的基本思路与研究框架，形成基于大数据视角下的我国政府进行舆情监测的研究观点。

二是案例分析法。主要运用在分析我国政府舆情监测现状的基础上，对近期发生的网络舆情典型案例进行分析，从中发现政府在网络舆情监测方面存在的问题，并借鉴大数据分析技术对网络舆情监测的优势提出相应的对策及建议。

第2章 基本理论及国内外研究综述

2.1大数据

2.1.1大数据的特征

“大数据”这个词从字面来看，可能会让人觉得只是的数据集合而已。但容量只不过是大数据特征的一个方面，周苏，冯婵璟，王硕苹等编著在《大数据技术与应用》中提到除容量大之外，大数据还具有多样性、高速、价值的特征，被称为大数据的4V特征：Volume（大数据量）、Variety（多样性）、Velocity（高速）、Value（价值）。

孙培梁、林枫、昌志泷等人从规模、变化频度、种类和价值密度等几个方面对于大数据特征的描述集中为5V,即规模化(Volume)、多样化(Variety)、快速化(Velocity)、潜藏价值(Value)以及真实性(Veracity)。规模化(Volume):聚合在一起供分析的数据规模非常庞大；多样化(Variety):数据形态多样,从生成类型上分为交易数据、交互数据、传感数据;从数据来源上分为社交媒体、传感器数据、系统数据;从数据格式上分为文本、图片、音频、视频、光谱等;从数据关系上分为结构化、非结构化、半结构化数据;从数据所有者分为公司数据、政府数据、社会数据等；快速化(Velocity):一方面是数据的增长速度快,另一方面是对数据访问、处理、交付等速度的要求快；潜藏价值(Value):尽管我们拥有大量数据,但是发挥价值的仅是其中非常小的部分。大数据背后潜藏的价值非常巨大；真实性(Veracity):一方面,对于虚拟网络环境下如此大量的数据需要采取措施确保其真实性,客观性,这是大数据技术与业务发展的迫切需求;另一方面,通过大数据的分析,真实地还原和预测事物的本来面目或者是未来的发展趋势也是大数据发展的关键问题。

目前大数据在国内还处于初级阶段，但其商业价值已经凸显，也引起了政府的重视。按照大数据的快速发展趋势，必将对国家治理模式和个人社会方式都产生巨大、深远的影响。如果不能利用大数据分析技术更加高效地捕捉社会所需，并对网络舆情做出及时、科学、有预见性的综合预判和应对，将会给社会管理带来一系列显性或隐性的危害。

2.1.2数据挖掘

数据挖掘的主要目的是从已有的数据中提炼知识，从而提高了已有数据的内在价值，并且使数据成为有用的东西。数据挖掘的概念包含丰富的内涵，是一个多学科交叉研究领域，在十几年的研究历程中，产生了许多新概念和新方法。

邵峰晶、于忠清在《数据挖掘原理与算法》一书中认为，数据挖掘定义有广义和狭义之分，从广义的观点，数据挖掘是从大数据集中，挖掘隐含在其中的、人们事先不知道的、对决策层有用的知识的完整过程。从狭义的观点上出发，数据挖掘可以定义为从特定形式的数据集中提炼知识的过程。数据挖掘的概念可以在不同的技术层面上来理解，但是其核心仍然是从数据中挖掘知识。作者还提出：在不同的理论框架下，数据挖掘技术的概念也不同。例如，在模式发现的理论框架下，数据挖掘技术被认为是从源数据集中发现知识模式的过程；在基于概率和统计理论的框架下，数据挖掘技术被看作是从大量源数据集中发现随机变量的概率分布情况的过程。^[3]

经过十几年的研究，数据挖掘已经在继承和发展相关基础学科（如机器学习、统计学等）已有成果方面取得了可喜的进步，探索出了许多独具特色的理论体系。但是，这绝不意味着挖掘理论的探索已经结束，相反，它留给了研究者丰富的理论课题，因此，对数据挖掘理论和算法的探讨将是长期而艰巨的任务。

数据挖掘算法（比如决策树、聚类、关联和时序算法等）应用到某一数据集，然后分析该数据集的内容。这种分析能挖掘出模式，这些模式含有有价值的信息。根据所使用的基本算法，这些模式可以是决策树、规则、聚类或者简单的数学公式。在模式中发现的信息可以用做市场策略的指导，它对于预测来说非常重要。

如基于 Hadoop 的数据挖掘技术就是高效处理大量非结构化网络舆情信息的一种有效的大数据处理技术。 基于 Hadoop 存储海量数据、处理非结构化数据的优势，结合网络舆情分析系统的技术构架，可将Hadoop 技术应用到网络舆情分析系统的信息采集模块和数据处理模块。在网络舆情数据处理过程中，Hadoop 技术可以对大量非结构化网络舆情数据进行分布式并行处理，大大提高了网络舆情数据处理的效率。

2.2 网络舆情

2.2.1  网络舆情的特征