摘 要

随着大数据和云计算技术的快速发展，个人和企业对数据处理的需求也越来越大。为解决混合云中大数据应用负载调度成本最小化问题，利用Hadoop的并行处理优势，本设计拟提出混合云环境中基于成本感知的大数据应用负载调度策略，该策略假设应用负载在私有云中执行成本忽略不计。对到来的应用负载进行排队，首先将应用负载尽可能放到本地私有云中执行，以最大化私有云基础设施的利用率。然后，考虑应用负载的截止时间约束，如果某应用负载不能在私有云中执行，则启动公有云资源（自动调度系统）。最后，根据需要在公有云中执行的应用负载的数据传输成本和计算成本，决定该应用负载应该放在哪个公有云提供商处以何种方案执行，提交并实施作业，达到执行代价最小化目的。通过设计与开发，最终实现了成本感知的应用负载调度系统。

关键词：云计算；Hadoop；成本感知；负载调度

Abstract

With the rapid development of the technologies of big data and cloud computing , the demand for data processing is growing larger, for both individuals and enterprises. To solve the problem of cost minimization of big data application load scheduling in hybrid cloud, taking advantage of parallel processing of the Hadoop, this project intends to put forward a big data application load scheduling policy based on the perception of cost in the environment of hybrid cloud, the strategy assumes that the cost of application load in the private cloud execution is neglected. Making coming application load queuing,first application load will be taken as much as possible into implementation in the local private cloud, to maximize the utilization of private cloud infrastructure. Then, considering the deadline of application load , if an application load cannot be executed in a private cloud, launch a public cloud resource. Finally, according to the data transmission cost and computing cost of application load needed in executing in public cloud, decide to execute the load application in which public cloud providers with which kind of plan , and submit and execute it, to achieve minimization of execution cost. Through the design and development, finally I realize the application load dispatching system of cost awareness.

Keywords：Cloud Computing;Hadoop; Cost Perception; Load Scheduling

目录

摘要 I

Abstract II

第1章 绪论 1

1.1研究背景 1

1.2 国内外研究现状 1

1.3 相关技术及工具的介绍 2

1.4 论文组织结构 3

第2章 成本感知的应用负载调度系统的总体分析 5

2.1 成本感知的应用负载调度系统概述 5

2.2 成本感知的应用负载调度系统功能需求 6

第3章 成本感知的应用负载调度系统的设计 8

3.1系统逻辑模型 8

3.2系统功能模块设计 9

3.2.1成本感知模块设计 9

3.2.2资源和负载调度模块设计 9

3.3数据库设计 10

3.3.1数据库概念模型设计 10

3.3.2数据库逻辑模型设计 11

第4章 成本感知的应用负载调度系统的实现 11

4.1成本感知模块的实现 11

4.1.1带截止时间的作业需求计算 12

4.1.2成本计算 14

4.2 资源调度模块设计与开发 16

4.2.1 Hadoop环境搭建介绍 17

4.2.2 申请资源 17

4.2.3 提交作业 18

第5章 总结与展望 19

参考文献 20

致谢 21

第1章 绪论

1.1研究背景

近年来随着计算机性能的不断提高，互联网技术和带宽的飞速增长，互联网在数据传输、存储、以及处理的需求也迅猛增长。这种情形下，孕育出了一种新的计算，被称之为云计算（Cloud Computing）。云计算技术是IT界的一场技术变革，也是一种新兴的产业，它不光是互联网技术发展的延伸，也带来了先进的服务模式和商业模式。云计算技术是一类新兴的互联网服务形式，它打破了传统的以桌面为核心的处理作业的形式，用以网络为核心的处理去代替原有形式；而且把网络中的AP（application program）当成服务，把软件甚至硬件作为服务提供给用户，以实现按需求量获取计算服务^[1]。按需提供的可伸缩的、可靠的计算服务,运用成本模型,根据实际服务使用情况向消费者收取费用,在分布式计算研究和行业中已经成为一个重要课题^[2]。云计算技术符合应用系统对计算力、存储，和软件服务的要求，而且它的成本较低，为使用者的存储和计算提供了很大的方便。云计算也是一种新的互联网商业模式，旨在按照用户要求提供计算力和存储等给用户，因此要重视满足用户的需求，并且需要不断去优化资源及负载的调度^[3]。混合云（Hybrid cloud）中既包含公有云（Public Cloud）又有私有云（Private Clouds），是近年来云计算技术主要朝这个模式和方向去发展。混合公有云和私有云，获取最佳的效果，这种个性化的解决方案，实现了既省钱又安全的目的。公有云提供的可伸缩性和私有云提供的更好的控制和定制，这让混合云在很多情况下成为更好的解决方案^[4]。而对公有云资源的使用就要考虑不同云服务的平台所提供的资源报价，需要进行对比来得知，哪家云服务商的哪种实例规格可以最大的满足用户的需求。本设计考虑应用负载最后期限限制和数据计算效率要求的同时，根据大数据应用负载类型、虚拟机实例类型及资源成本(计算、存储、网络)，实现混合云中大数据应用负载调度成本最小化。具体的设计任务是根据部分作业对公有云资源调度的要求，利用亚马逊云、阿里云平台所提供的资源报价，对作业成本进行计算，做出公有云资源租用方案的最优决策，利用平台提供的API，提交、实施作业，为实现混合云之间的无缝衔接奠定基础，提高的调度工作效率。运用所学的相关专业知识对系统进行分析、设计和实施，最终实现一个功能相对完善、易于操作的系统。

1.2 国内外研究现状

 云计算技术具有高效、低廉、方便管理、可按需获取等优点，使得软件即服务SaaS，平台即服务PaaS和基础设施即服务IaaS成为现实。云服务对要进行大数据处理的个人用户和企业都是绝大的便利^[5]。按照商业模式的差异，云通常被分为三类：公有云（public cloud），私有云（private cloud）和混合云（hybrid cloud）。公有云一般是指由第三方提供的，用户能够使用的云，它的核心属性是共享资源服务。云计算技术越来越成熟，与此同时也有越来越多的互联网公司推出自己的云计算平台。越来越多公司致力于打造一个高效，动态，弹性云计算平台，来满足业务发展的需求^[6]。目前，公有云在我国的发展还没有到达成熟的阶段，在各个方面都有很大的提升空间，而很多国外云计算平台巨头已经进入了中国市场。亚马逊作为第一个提供云计算服务的公司，迄今它的计算商业模式仍是最成熟的。亚马逊的服务大体上是面向商业的，因此对它而言调度策略既要满足成本优先的条件，还要照顾不同用户的需求，满足负载均衡、高可靠性等要求^[7]。亚马逊的EC2云计算系统，为了适合高性能类型的应用程序探索EC2的效用，支持按需响应，小规模，高性能计算应用程序^[8]。

虽然国内公有云起步得较晚，但是也有不小的发展。在去年华为的云计算会议上，华为公司称，要坚持进行开放合作策略，共同打造华为云生态；作为国内最大的电子商务平台，阿里巴巴率先提出了商业云概念，并成立了专门的云计算公司-----阿里云，并且阿里云公司于2015年6月9日，宣布启动全球合作伙伴计划，与国际顶尖的云计算伙伴一同创建适应DT时代的云生态体系，为全球云用户提供一站式的云计算服务，为客户各种各样的精分需要及要求给出最直接而准确的应用方面的支持。从目前公有云平台服务的发展趋向来看，随着云计算服务产业链的日渐发展完善，云端协作和云生态体系的创建，成为了未来云服务商发展的重点方向，关于云生态建设的云与云之间的协作，将会越来越常见，云平台的服务生态体系也会越来越完备。