摘 要

当今时代是一个全面信息化的时代，越来越多人将社交重心转移到网络上。用户可以不受时间、空间的限制，迅速地交换自己对于各种话题的各种。看法每时每刻都有海量的信息在产生、传播，在这些信息中蕴含着巨大的价值资源，但同时也伴随着大量无用的干扰信息。尝试捕捉在线社交网络中传播的信息，进行分析、理解、预测，这些工作可以使得研究人员更加准确地把握当前网络社会中的舆论趋势，对在线社交网络用户的结构属性有更加清晰地认识，有着广泛的应用前景。对于网络舆论的有效监控，有助于减少舆论失控的可能性，降低舆论危害，具有重要的研究意义和研究价值。

本文以Python为基础开发环境，结合分词技术、数据分析技术及数据可视化技术，通过捕捉在线社交网络中传播的信息，进行分析、理解、预测，尝试直观呈现当前网络社会中的舆论趋势，可以使研究人员对在线社交网络用户的结构属性有更加清晰地认识。

通过使用网络数据挖掘软件，数据研究人员可以选择需要监控的话题，同时会列出该话题下的活跃用户（大V）、分析的结果（以文字和图表的形式呈现），数据研究人员可以随时选择更新数据和重新分析。本次以民生话题为代表作为实验对象，事实上，理想中的数据分析软件应该是一个通用的模板式的软件，可以对任何用户期望的话题关键词进行分析，这一点可以在后续的升级中作为改进的目标。

关键词：网络爬虫 中文分词 数据分析 数据可视化 Python

A Data Mining and Application Software Design of Social Network

Abstract

The current era is an era of comprehensive informationization, and more and more people are shifting their social focus to the Internet. Users can quickly exchange their various topics for various topics without being limited by time and space. Views have a huge amount of information generated and transmitted at all times, and there is a huge value resource in this information, but at the same time there is a lot of useless interference information. Try to capture the information disseminated in online social networks for analysis, understanding, and forecasting. These tasks can enable researchers to more accurately grasp the trend of public opinion in the current online society and have a clearer understanding of the structural attributes of online social network users. Wide application prospects. Effective monitoring of network public opinion helps to reduce the possibility of out-of-control of public opinion and reduce the harm of public opinion. It has important research significance and research value.

This article uses Python as the basic development environment, combined with word segmentation technology, data analysis technology and data visualization technology, by capturing information disseminated in online social networks, analyzing, understanding and predicting, trying to visualize the trend of public opinion in the current network society, which can make Researchers have a clearer understanding of the structural attributes of online social network users.

By using web data mining software, data researchers can select topics that need to be monitored, and list active users (large V) and analysis results (in the form of text and graphs) under the topic. Data researchers can always Choose to update data and re-analyze. This time, the people's livelihood topic is taken as the experimental object. In fact, the ideal data analysis software should be a general template software, which can analyze any topic keywords that users expect, which can be used in subsequent upgrades. As a goal of improvement.

Keywords: web crawler；Chinese word segmentation；data analysis；data visualization

目录

摘 要 I

Abstract II

第一章 绪论 1

1.1研究背景和研究意义 1

1.1.1 研究背景 1

1.1.2 研究意义 1

1.2研究思路和技术方法 2

1.3研究现状 3

1.3.1 Python 3

1.3.2 爬虫框架 3

1.3.3 分词框架 4

1.3.4 数据分析框架 4

1.3.5 数据可视化框架 5

第二章 相关技术介绍 6

2.1网络爬虫 6

2.1.1 获取格式化的html 6

2.1.2 筛选标签内容 6

2.2 分词技术 6

2.2.1 词典、Trie树、有向无环图DAG 6

2.2.2 动态规划查找最大概率路径 7

2.2.3 HMM模型，Viterbi（维特比）算法 7

2.3数据分析技术 7

2.4 数据可视化技术 8

2.5 用户界面技术 8

第三章 系统分析 9

3.1 需求分析 9

3.1.1 功能需求分析 9

3.1.2 性能需求分析 9

3.1.3 用户界面需求 10

3.2 系统功能分析 10

3.2.1 网络爬虫模块 10

3.2.2 分词模块 10

3.2.3 数据分析模块 10

3.2.4 数据可视化模块 10

3.2.5 用户使用界面模块（GUI） 11

3.3 系统可行性分析 11

3.3.1 软硬件可行性分析 11

3.3.2 经济和时间可行性 11

第四章 系统设计 12

4.1 系统简介 12

4.2 系统功能设计 12

4.2.1 系统功能结构图 12

4.2.2 系统用例图 14

第五章 系统实现 15

5.1 爬虫模块功能实现 15

5.2 分词模块功能实现 18

5.3 数据可视化模块功能实现 21

第六章 结束语 24

参考文献 25

致谢 27

第一章 绪论

1.1研究背景和研究意义

1.1.1 研究背景

随着信息化时代的到来，越来越多人将社交重心转移到网络上。主流的在线社交网络，如微博、豆瓣、贴吧、抖音等，可以让用户自由发布信息，每个用户都可以成为信息的发布者与传播者，相比过去的用户只能被动接收信息，在线社交网络让用户可以建立“自己的媒体”，即“自媒体”。通过在线社交网络，用户可以不受时间、空间的限制，迅速地交换自己对于经济、科技、个人、娱乐的各种看法，是信息传播领域的一次重大的飞跃。

在网络时代，由于移动网络的普及以及用户量的飞速增长，信息的传播量也在爆炸式增长，每时每刻都有海量的信息产生、传播，在这些信息中蕴含着巨大的价值资源，但同时也伴随着大量无用的干扰信息。如何从大量信息中提取到自己所需要的有用的信息，是计算机网络大数据研究的一个重要课题，通过软件实现信息获取、信息分析的自动化操作，可以极大地提升信息获取效率，有着重要的现实意义。

相关图片展示：