多种存储介质的纠删码读写性能评估与分析文献综述
2021-03-15 20:11:13
1.1研究目的及意义
随着政府事务、国防、金融、工商业、学校、医疗等各个领域对信息技术的依赖程度提高,越来越多的关键数据信息被存储在计算机系统中。数据信息化在提高工作效率和业务水平的同时,也带来了数据失真或数据丢失的风险。一旦存储系统中的关键数据丢失或毁坏,将造成不可估量的间接或直接经济损失,为了保障数据存储的可靠性以及重用性,必须采用数据冗余机制。数据冗余机制分为副本以及纠删码技术,前者是对数据进行备份到其他存储系统中,后者是对数据进行分块,编码,分发,最后将数据分块存储到独立的存储设备上,而纠删码技术在相同的存储空间下,拥有更高的容错率,广泛应用于存储系统中。特别地,随着存储系统中存储介质的数量大大增加[1]和存储介质的多样化和复杂化,使得出现存储介质错误和存储介质上的潜在扇区错误[2]的概率越来越高,存储系统的可靠性正受到了严重的挑战。因此,研究存储介质对存储系统性能的影响显得尤为重要。而此次研究,就是研究不同存储介质上的纠删码的读写性能,并进行性能的比较和分析,提出提高纠删码性能的方案,从而提高数据存储的可靠性和重用性。
1.2 研究现状
纠删码(Erasure Code)早期是一种编码容错技术[3],最早应用于通信行业,解决数据传输中的检错和纠错问题,后来纠删码逐渐应用到存储系统中的数据检错和纠错问题中,以提高存储系统的可靠性,并根据存储系统应用的特点逐步得到改进和推广。而近几年,尤其是规模较大的应用场景下,因其高容错能力和低存储空间开销的优点[4],纠删码越来越多的出现在选择范围内,成为RAID存储系统、副本策略之外的第三种选择[5],因此也获得了越来越多的关注。
近年来,纠删码存储方案研究得到学术界和工业界的广泛重视。在国内,纠删码存储研究主要集中于磁盘阵列与阵列编码两个分支上,如中科院研究生院提出一类纠双错MDS阵列纠删码(V码)[6];南开大学对大规模磁盘阵列下多容错编码方面进行了研究[7];华中科技大学也对磁盘阵列的容错编码和重构优化进行了研究,为RAID-6设计了P编码和M编码[8],以及RAID重构优化方案WorkOut和VDF[9]。在国外,纠删码存储集群相关研究主要集中于国外大公司,例如:Google在其GFS文件系统中增加了RS码支持[10];微软研制的Azure云存储系统也支持RS码[11];Facebook采用Hadoop HDFS来搭建其Blob 存储集群,其采用了Mirrored RAID-5编码和RS编码[12];IBM所收购的Cleversafe致力于归档存储,其采用柯西RS码来获得高性价比存储[13]。[14]
其中,纠删码的读写性能评估的研究在国内外也有很多人在进行。特别是J. S. Plank教授,他关于在同种存储介质上不同的开源纠删码的编码和译码性能评估的研究成果[15]一直被广大学者引用,但同种纠删码在不同存储介质上的读写性能评估却鲜有人加以研究。而我这篇论文的研究目的就是关于同种纠删码在不同存储介质上的读写性能的评估与分析。通过在不同的存储介质上测试纠删码的数据写、数据降级读、数据正常读性能的评估与分析,进而找出影响不同存储设备访问性能的原因,确定哪些地方进一步改进对纠错码访问性能的提升有较大的益处。
{title}2. 研究的基本内容与方案
{title}2.1 目标(开发的系统概况描述)
本此研究,主要是:一,设计一种性能比较方案,来比较不同存储介质上的纠删码技术的读写性能;二,编写出测试读写性能的编码,测试其读写性能;三,根据测试结果分析对比不同介质上的纠删码,提出提高纠删码性能的方案。
2.2 基本内容
2.2.1纠删码的访问方式