分布式存储系统负载预测算法研究文献综述
2020-04-15 17:30:01
1.1、研究的目的及意义
网络计算的发展使分布式系统得到越来越广泛的研究和应用。在具有多个处理机的并行分布式系统中,当处理机所分配的任务不是对称的时候,就会出现各个处理机的负载不均衡的现象。为了有效地合理的利用各个处理机的资源,在并行分布式系统中引入了负载均衡机制。各个处理机在物理结构上可能不尽相同,但是在逻辑结构上面,他们都是相互独立的,是对称结构的。在处理机上运行的任务都是相互平等的,没有主次之分,在结构上是完全分布的。多个主机间如何进行动态的任务分配调度,很大程度上影响着系统的性能,因而一直受到人们的关注。各国研究人员对此进行了大量的研究,提出了一系列动态负载均衡的算法。目前,这方面的研究领域可划分为两个部分,一个领域是将网络流量视作负载进行的负载均衡,主要应用于网络的优化;还有一个领域也是主要涉及的以客户机提出的任务(进程)作为负载的负载均衡研究。
对一个分布式实时系统进行动态负载均衡的目的是使该系统获得较小的工作时延,而准确地衡量任务在系统各个主机上的执行时间,从而选择合适的主机来分配任务,进而提高资源利用率和作业响应时间,同时避免一些节点负载过重,而另一些节点闲置或工作很少的情况,是实现高效动态负载均衡的关键所在。
主机上的任务执行时间与该主机上可计算的负载有很密切的关联,如果能够预测主机上的负载,那也能预测该主机上的任务执行时间,从而为系统上实现高效的负载均衡提供坚实、可靠的基础。
1.2、国内外研究现状
目前对于负载的预测,国内外主要集中在网络流量的预测 ,典型的预测模型和工具如Network Weather Service、Fast,网络流量预测关心的是TCP/IP流量大小和延迟。
主机负载预测研究的则是主机的平均负载量,其表现为机器所耗费资源的综合 体,包括CPU的利用率、自由内存的大小、磁盘可利用空间。国内外在这方面的研究较少,典型的有人工神经网络的BP预测算法、基于滤波的理论的PAA预测算法、基于时分UNIX系统的CPU利用率的预测等。BP预测算法应用了人工智能技术预测负载,但未对负载的特性做出任何解释,PAA预测算法应用了电子或动力学的滤波理论预测负载,却只笼统分析了一般信号序列的简单特征,因而其算法的可靠性、普适性值得怀疑,两者虽然均有较高的借鉴价值,但是者都未涉及预测系统模型及实现策略,其应用性不得而知。而基于时分UNIX系统的CPU利用率预测提出了CPU负载的有关特性和预测CPU利用率的实现方法,但就主机负载而言,不具有普遍意义。
{title}2. 研究的基本内容与方案
{title}2.1设计的基本内容
2.1.1对“分布式存储系统”的研究:
(1)“分布式存储系统”的概念与架构设计