基于Scrapy框架的爬虫系统的设计与实现任务书
2020-02-18 15:54:48
1. 毕业设计(论文)主要内容:
随着互联网技术的迅猛发展和广泛普及,特别是,近年来,互联网推动制造业的发展,各种云制造,智能制造等也开始迅猛发展,互联网上出现各种制造信息,然而这些信息散落在各处,零落,杂乱。因此需要设计一个基于实现一个小型的爬虫系统,来实现对制造信息的收集。
完成目标:基于Python语言,利用Scrapy的爬虫框架来实现一个小型的爬虫系统,实现对制造数据的收集。
2. 毕业设计(论文)主要任务及要求
(1)查阅不少于15篇的相关资料,其中英文文献不少于3篇,完成开题报告;
(2)学习python语言和scrapy的爬虫框架,为爬虫系统的设计打下夯实的基础。
剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!
3. 毕业设计(论文)完成任务的计划与安排
(1)第1-3周:查阅相关文献资料,明确研究内容,学习毕业设计研究内容所需理论的基础。确定毕业设计方案,完成开题报告。
(2)第4-5周:掌握python语言的基础。寻找爬虫数据源,并对数据源进行汇总。
剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!
4. 主要参考文献
[1]樊宇豪. 基于scrapy的分布式网络爬虫系统设计与实现[d].电子科技大学,2018.
[2]李远龙. 基于scrapy框架招聘信息检索系统的设计与现[d].西安电子科技大学,2017.
[3]樊海英. 基于scrapy的分布式网络爬虫系统的设计与开发[d].北京工业大学,2017.
剩余内容已隐藏,您需要先支付 5元 才能查看该篇文章全部内容!立即支付