1. 研究目的与意义及国内外研究现状

日志分析属于数据分析的范畴，当数据量逐渐积累增加，数据量级达到tb级别时，需要引入大数据分析技术。当下，许多公司都在探索研发数据相关的产品，有些科技公司已经运用到自己的生产实践中。蚂蚁金服利用用户的行为信息、消费信息等进行欺诈检测、信誉评估、风控建模。aws向使用其云计算服务的客户提供简单的日志分析服务。数据分析逐渐成为it行业重要的应用和研究领域。但是，这些数据分析服务都是运行在它们自己的云平台上，客户如果要使用数据分析服务，必须将自己的应用放到阿里云或者aws上，这增加了客户在安全和应用架构调整上的顾虑，在产品化上有很大的局限性。linker networks公司开发的流量充值平台app每天都会产生大量的日志，并且日志的格式由研发人员自主设置，每条日志包含的信息非常多，格式也非常复杂。公司无法选择合适的第三方应用来充分分析、挖掘日志中的信息和价值。因此，公司决定自己开发针对性的日志分析程序。日志分析应用成熟后可以把这项技术产品化，整合到云计算平台作为产品链的一部分。

2. 研究的基本内容

1. 在多台机器组成的集群上选择合适的资源调度、分配框架，实现高效的资源调度和任务分配。2. 本项目涉及的框架很多，如何在集群环境下有效管理软件，保证软件版本一致，实现软件高效地安装、升级和删除。3. 如何保证软件的高效交付、稳定运行和自动容错。4. 日志收集与存储方案。5. 分析流量平台的日志消息，挖掘日志中有价值的信息，并存储起来。6. 选择合适的可视化组件和web框架。

3. 实施方案、进度安排及预期效果

1.搭建分布式基础环境。

2.收集离线日志。

3.编写日志信息统计分析代码。

4. 参考文献

[1] apache spark. http://spark.apache.org[2] amit nandi. spark for python developers[m]. britain:packt publishing,2015[3] 新浪是如何处理每天30条日志的.http://dockone.io/article/505[4] dharmesh kakadia. mesos 大数据资源调度与大规模容器运行最佳实践[m]. 崔婧雯 刘梦馨，译. 北京：电子工业出版社. 2015[5] benjamin hindman, andy konwinski, matei zaharia, ali ghodsi, anthony d. joseph, randy katz, scott shenker, ion stoica. mesos: a platform for fine-grained resource sharing in the data center[r]. university of california, berkeley:2010http://mesos.berkeley.edu/mesos_tech_report.pdf[6] holden karau, andy konwinski, patrick wendell, matei zaharia. spark快速大数据分析[m]. 王道远，译. 北京：人民邮电出版社. 2015[7] flask microframework. http://flask.pocoo.org[8] musings on cloud computing and cloud native applications. https://cloudarchitectmusings.com/2015/03/31/dealing-with-persistent-storage-and-fault-tolerance-in-apache-mesos/[9] airbnb caravel project. https://github.com/airbnb/caravel[10] semantic ui docs. http://semantic-ui.com/introduction/getting-started.html[11] 浙江大学sel实验室. docker容器与容器云[m]. 北京:人民邮电出版社. 2015[12] bokeh user guide. http://bokeh.pydata.org/en/latest/docs/user_guide.html#userguide[13] apache mesos documentation. http://mesos.apache.org/documentation/latest/[14] twitter 2014 linuxfest slides about mesos.http://www.slideshare.net/caniszczyk/apache-mesos-at-twitter-texas-linuxfest-2014[15] 日志易平台. https://www.rizhiyi.com/