1.1研究背景

近几年随着“互联网 ”和大数据的迅猛发展，网络信息出现了井喷式的增长，同时信息技术在各行各业的广泛应用，也为数据的产生提供了便利的途径。面对社会竞争的愈发激烈，就业成了很多求职者都必须面临的问题，网络技术的发展也使各种各样的招聘信息出现在了网络上。然而面对海量的招聘信息，过于复杂的搜索与遍历已经不足以满足当下求职者的要求。同时，网络信息也存在成功率较低，风险较大等问题，很多公司提供的职位信息可能是虚假的或者过于模糊化，而通常人们所关注的工作地点，薪酬情况，该职业城市平均工资等问题并不明确，因此对于网络数据的清洗和分析工作就显得尤为重要。以便让求职者快速准确的浏览到目标求职信息的相关状况。

1.2研究目的

本课题所设计的就业辅助系统目的在于以现代的数据挖掘技术为基础，采用合适的python爬虫方式，通过对当下主流就业平台中的数据进行采集，并将采集的数据进行合理的清洗和分析，得到让求职者满意的可视化结果，从而为当下的求职者就业提供便利。降低出现企业招不到人才而求职者却找不到合适岗位的怪异现象。

同时该系统可以整合多个数字资源，减少了获取信息的繁琐性，通过将多个招聘网站的内容进行爬取，对数据进行清洗可以减少虚假信息以及过时信息等内容，运用相关的分析算法以及清洗算法对数据进行处理，得到的结果更具规范性，最终提高就业的质量，拓宽就业的渠道，为求职者的就业提供可靠的参考性。

1.3研究意义

首先，可以深入理解python和scrapy开源框架，本课题在爬虫爬取的方式上采用广度优先遍历的方式，对比深度优先遍历在收集非结构化招聘信息的优势所在，针对不同用户的需求提供不同的方式展示可视化结果。目前互联网上智联招聘，前程无忧等大型招聘网站中发布的招聘信息形成了庞大的在线信息，这种在线网络规模相对庞大，无法从中提取较多的比较信息，而采用可视化的结果可以很好的比较各个城市中每个职业的现状，从中得到更为直观的信息，同时针对每个职业在城市中的平均薪资，各个城市的职位分布等信息为就业者提供了较好的就业参考，为就业地域的选择以及薪酬有了大致的了解，拓宽了就业的思路，提高就业的成功率。

其次，我国目前大力推广“三通两平台”建设，促进教育信息化。在2015年，李克强总理首次提出了“互联网 ”计划，目的是为了促进“互联网 ”与各行各业相关联，从而促进各行各业的发展，在此背景下，该就业辅助系统不仅可以满足毕业生的求职需求，而且能够加强学生与网络平台的信息交流能力。通过对网络平台就业信息的理解，反馈与学校，进一步加强求职者在求职就业中角色的重要性。学生的就业信息可以很好的反映出当下我们社会的承载能力以及高等教育情况。对社会的建设具有深远的意义。

最后，我们在数据清洗方面，通过对缺失值，异常值以及重复值的处理等可以应用于其他行业数据中去，为其他行业平台的建设提供参考，对数据的管理提供建议。使用matplotlib对数据的可视化展示也能够从侧面反映一个城市的经济水平，市场实时情况等，为城市的建设献计献策。