论文总字数：27088字

摘 要

随着经济的发展，人们的生活水平都有显著的提高，所以在日常娱乐中，电影便有了举足轻重的位置，这大大加速了国内电影行业的发展。在日常生活中并不难发现的是，大众往往会根据上映电影的大众评论和个人的喜好来选择观看的电影，所以，电影的评论和电影的类型这类数据显得尤为重要。

至今，影评数据已经非常的庞大琐碎，但实际上它们并不是毫无规律的文本信息，这其中蕴含着非常高的研究价值。事实上对于电影评论，一方面可以根据大众喜好分析电影的市场情况，便于影院的拍片。同时，也可以发掘其中的用户情感，斟酌用户的喜好，对用户推荐其最有可能感兴趣的影片，做到更好的推动市场。

本文是以豆瓣网的电影短评文本作为数据语料库，运用Python爬虫进行数据的爬取工作，后用Navicat对爬取的数据进行清洗筛选，并基于TensorFlow框架建立循环神经网络模型，同时运用深度学习方法 LSTM模型对文本分类，判断影片短评的情感倾向，同时运用基于用户的推荐算法——协同过滤算法为用户推荐其可能喜欢的电影。最后通过可视化技术，将结果进行展示。

关键词：python爬虫 情感分析 循环神经网络 个性化推荐 协同过滤

The Personalized Recommendation Based on Sentiment Analysis of Movie Short Reviews

ABSTRACT

With the development of the economy, our living standards have improved significantly. We put more attention on our entertainment, and movies play an more important role. We can find it that in our daily life, we may choose movies according to their evaluation and out own taste. So, information of movies’ evaluation and types seem to be necessary for us.

Nowadays, our movie reviews have developed rapidly. They may seem to be trivial and irregular text information, but actually they have some specially laws and contain a huge amount of research value. When we focus on film reviews, on one hand we can analyse films’ markets and help theater arrange movies. At the same time, we can find people’s sentiment among them and analyse their preference to recommend the movies which they may interested in. These can help promote movie markets’ development.

In this article, we use a series of Douban short reviews as a corpus. The web crawler is used to crawl Douban short comments. A recurrent neural network model is established based on TensorFlow. The deep learning method LSTM models are used to classify the text and judge the short reviews’ emotional inclination. At the same time, we use Based Collaborative Filtering Recommendation Algorithms to recommend movies for users. Finally, the results are presented through visualization techniques.

Key Words: Python web crawler; sentiment analysis; recurrent neural networks; Personalized Recommendation; Based Collaborative Filtering Recommendation Algorithms

目 录

摘 要 I

ABSTRACT II

第一章 绪论 1

1.1研究背景 1

1.2 研究现状 2

1.2.1 基于机器学习的分析方法和基于情感词典的分析方法 2

1.2.2 基于用户的协同过滤推荐技术 3

1.3 本文主要工作 4

1.4 本文章节安排 5

第二章 相关理论技术 6

2.1 网络爬虫相关背景知识 6

2.1.1 Python与网络爬虫 6

2.1.2爬虫基本结构 6

2.2机器学习相关背景知识 7

2.2.1 机器学习 7

2.2.2 深度学习 7

2.2.3 监督学习与无监督学习 8

2.2.4 人工神经网络 8

2.2.5 循环神经网络 10

2.2.6 LSTM模型 11

2.3 个性化推荐相关背景知识 14

2.3.1 推荐算法发展阐述 14

2.3.2 基于物品的协同过滤算法简易阐述 14

2.3.3 基于用户的协同过滤算法简易阐述 15

2.4 本章小结 16

第三章 网络爬虫设计 18

3.1 对目标数据的分析 18

3.2 目标数据爬取过程 19

3.2.1 影评信息的爬取 19

3.2.2 电影信息的爬取 22

3.3 数据处理 24

3.4 本章小结 27

第四章 循环神经网络模型的搭建 28

4.1 TensorFlow 28

4.2 数据文本的预处理 29

4.2.1中文分词 29

4.2.2 去除停用词 29

4.2.3 词嵌入 29

4.3 框架搭建原理及训练模型的搭建 31

4.3.1 模型的搭建原理 31

4.3.2 代码具体实现 32

4.4 模型训练及模型情感预测结果 34

4.4.1 模型训练 34

4.4.2 模型情感预测结果 35

4.5 本章小结 36

第五章 个性化推荐算法的设计 37

5.1 余弦相似度以及皮尔逊相关系数 37

5.1.1 余弦相似度 37

5.1.2 皮尔逊相关系数 39

5.2 结合余弦相似度设计符合实验要求的算法 39

5.3 结果展示与分析 41

5.4 本章小结 43

第六章 可视化界面与基本功能展示 44

6.1 pyQT5工具介绍 44

6.2 功能展示 44

6.3 本章小结 48

第七章 总结与展望 49

7.1 总结 49

7.2 展望 49

参考文献 51

致谢 53

第一章 绪论

1.1研究背景

自然语言处理（Natural Language Processing, NLP）实际上是语言学与计算机科学的交叉互动学科[1]。它主要是想尽可能使计算机“读懂”人类的语言，并能够做出相应“拟人化”的、为人类所需要的反馈。

通俗来说，自然语言是人类表达与交流情感最为直接的工具，也是人类文明起步发展的标志。只有当计算机具备理解自然语言的能力，才算实现了机器的智能。而本文倾向于分支情感分析的研究，通常的，实验主要将情感分析分为三个任务，就是首先需要提取情感信息，然后，情感信息进行分类，最后情绪信息被搜索和汇总。

请支付后下载全文，论文总字数：27088字