异构分布式存储系统的建模与优化研究开题报告
2020-02-18 18:10:58
1. 研究目的与意义(文献综述)
在过去的几年中,云存储服务已经得到了极大的普及与推广,为用户提供了多样的数据服务[1,2]。随着云存储服务的用户数量与日俱增,用户对于云存储系统的要求也越来越明确:高效、稳定。想要满足用户的服务要求,可以通过向网络增加新的存储节点来提升分布式计算能力。然而在实际的分布式存储系统中,由于各个存储节点和连接各个存储节点的通信链路在性能上存在差异,若是缺乏有效的配置方法,不仅无法有效提升服务质量,还会导致不能充分利用系统资源,造成极大的浪费。想要在满足用户服务要求的同时尽量减少系统资源的浪费,优化异构分布式存储系统,可以对异构分布式存储系统的性能指标例如存储开销、修复开销、i/o开销等进行理论优化和仿真实验。
随着分布式存储系统逐渐成为解决复杂应用问题的有效工具[3-5],目前有诸多国内外研究人员对其进行了研究分析,如:刘飞等[6]针对ceph分布式存储系统提出了一种面向异构存储的数据放置方法,根据数据的热度和读写比例为不同的数据选择不同的副本组合,在提升系统性能的同时有效地控制系统的存储开销。屠要峰等[7,8]提出了一种自适应的任务调度技术,解决了前后端任务的资源平衡问题并提出了一种多级热度的缓存替换技术,解决了前端任务之间间的资源平衡问题。孙浩[9]提出了一种基于内存使用度预测的任务分配机制,根据计算存储节点的内存使用历史数据来预测将来的使用状态进行任务分配调度。在内存压力较大时通过减少任务的分配来降低内存的压力,并且通过对内存使用度的阈值进行设置以实现更加灵活的任务调度。胡力文等[10]提出了一种异构环境下考虑非均质性的最小冗余分布式云存储系统构建方法,并提供了一个简单的迭代算法来确定保证不同存储应用程序的数据可用性所需的最小冗余。于泉等[11]提出了一个具有存储开销和下载开销的分布式存储系统异构模型,并建立了系统存储开销和系统修复开销之间的基本权衡。还有一些研究人员[12-15]通过优化编码等方式对分布式系统的性能进行了优化。
在上述研究工作中,已经从多个方面对异构分布式存储系统的优化方法进行了研究,但是关于如何对异构分布式存储系统建模以及如何对该模型的存储开销、修复开销和i/o开销进行优化还没有一个一般性的结论,需要继续探究。所以本课题将针对异构式分布存储系统,建立数学模型,并对其性能指标例如存储开销、修复开销、i/o开销等进行理论优化和仿真实验。
2. 研究的基本内容与方案
课题的研究内容主要包括三个方面:
(1)确定要使用的异构分布式存储系统模型,并利用matlab完成异构分布式存储系统的异构模型的实现。
(2)根据之前建立的异构分布式存储系统模型,进行理论分析,研究各存储节点以及通信链路的异构性对于分布式存储系统的重要性能指标,例如存储开销、修复开销、i/o开销等,的影响,并对其进行优化。
3. 研究计划与安排
(1)第1-3周:查阅相关文献资料,明确研究内容,了解研究所需的理论知识。确定方案,完成开题报告。
(2)第4-5周:熟悉掌握基本理论,完成英文资料的翻译,熟悉相关工具软件的使用;
(3)第6-8周:异构系统的建模。
4. 参考文献(12篇以上)
[1] 杨洪章, 罗圣美, 施景超,等. 面向移动通信大数据的云存储系统优化[j]. 计算机应用, 2017, 37(a01): 27-33.
[2] 张引,陈敏,廖小飞.大数据应用的现状与展望[j].计算机研究与发展,2013,50(s2):216-233.
[3] 顾荣. 大数据分布式存储技术与系统研究[d]. 南京: 南京大学, 2016.