1.Spark 云计算平台简介

最近这几年以来，计算机和信息技术迅猛的发展以及普遍的应用，伴随着行业应用系统的规模迅速增大，行业应用所产生的数据呈飞速般增长。动辄达到数百TB甚至数十至数百PB规模的行业已大大超出了现有传统的计算技术和信息系统的处理能力，因此，寻求更加有效的大数据处理技术、方法和手段已成为现实世界的迫切需求。许多开源社区推出了值得关注的大数据分析平台，而Spark就是其中最出色的之一。

Spark作为下代云计算及大数据的核心技术，是Hadoop目前唯一继承者以及替代者，Hadoop能做的spark都能很好完成，同时速度比Hadoop快100倍以上。而且在Hadoop最擅长的离线数据统计分析领域，Spark比Hadoop也快了不止一个几何级数；Spark另外一个无可取代的技术优势是：”One Stack to rule them all”，Spark采用统一的技术堆栈解决了云计算大数据包括如流处理、机器学习、NoSQL查询等方面的所有核心问题，配有完善的生态系统,这些技术直接奠定了其云计算大数据领域的霸主地位。

#12068;数据分析的#12032;个重要应用就是基于网上用户的各种海量在线行为来分析用户的兴趣和需求。现阶段，最典型、最重要的互联网服务包括网络新闻、搜索引擎、网络购物、网上#12096;付、网络#12084;告、旅行预订、博客、微博、网络视频、网络#12211;乐、网络游戏等，大数据的新技术对于其中的大部分服务都能很好地适应，并且能快速且相当好的解决存在的问题，互联网服务和应用会在此基础上得到更好的发展，也将推动#12068;数据的新理论与新技术在互联网行业找到更完美的应用点，从#12157;实现互联网与#12068;数据的有机结合。

云计算的市场潜力巨大并且具有远大的发展前景，随着用户的增多以及大家对此技术的信任与日俱增，云计算在未来几年内将呈现爆炸式发展，因而研究基于Spark的云计算技术,顺应了时代发展的要求，具有非常深远的意义。

2.基于spark的推荐系统及其前景

在互联网高速发展时代，各类音乐网站极大的丰富了人们对于音乐的需求。但是，大型的音乐门户网站能够保存上千万首歌曲，在面对如此海量的音乐信息，人们往往难以从中找到符合自己口味的歌曲。传统的搜索引擎只能够应用在用户有明确的目标并且能够用关键词表达出来的信息检索问题。同时，音乐是一个典型的具有长尾现象的物品#8212;只有极少部分的歌曲会被用户下载，绝大部分音乐往往无人问津。因此，个性化音乐推荐系统正是为了在没有明确需求的情况下，挖掘处于长尾部分音乐，帮助人们找到其喜爱的歌曲。

推荐系统是信息过滤（information filtering）系统中的一种，它的功能最重要是计算用户对某个物品的喜好程度。在个性化音乐推荐领域内，比较主流的推荐方法有两类，一是基于内容的推荐方法，二是基于协同的推荐方法。其中，正确的计算音乐之间的相似度是这两类推荐方法的关键所在。然而，这两种方法都存在某些不足之处，如基于内容的推荐存在推荐准确率不高的问题，基于协同的推荐倾向于为用户推荐热门的歌曲。

协同过滤是最早提出的、研究最深入的并且应用最为广泛的技术。在实际应用领域，最早的并且具有代表性的推荐系统是由MIT 的Paul Resnick 和University of Minnesota 的Neophytos Iacovou 等在1994 年开发的Group lens，这是#12032;个运用最近邻协作过滤算法对网络新闻进#12175;推荐的系统。Ringo 是与Group lens 同一时期出现的个性化#12211;乐推荐系统，由MIT Media-Lab 的Shardanand 等开发完成，该系统根据#12132;户喜好的相似性进行个性化推荐。上个世纪末本世纪初，随着亚马逊、eBay 、CDNOW 等电#12070;商务网站的快速崛起，个性化推荐系统迎来历史上最#12068;的发展机遇。基于协同过滤、贝叶斯网络、聚类和关联规则等技术的个性化推荐系统相继被应#12132;到电#12070;商务网站等各个方面。这个技术依赖于用户与系统交互时留下的点滴信息，通常包括用户的评分、浏览同一数据的次数、消费商品记录等等，他并不只局限于离散的变量，主要是根据用户以往的各种行为进行计算并予以推荐。

有句谚语这么说过：”观其友，知其人。”音乐推荐是基于内容分析的推荐方法，其主要特征在于对与用户和条目有关的内容进行累计分析。通过提取音乐本身的作者，曲风等元素，再结合用户的喜好以及听取次数等信息，两相比较呈现出最接近的歌曲，再将其推荐给用户，极大的方便了用户，增强了用户的体验感觉。