1.1目的及意义

随着社会从工业化时代逐渐过渡到信息化时代，毫无疑问，数据正在变得越来越有价值，可以说是当今世界上最珍贵的资源。近年来，随着信息技术产业的发展，以及政府、能源、金融、军队及公共事业（教育、医疗）等各个领域向信息化发展，人类数每天都在产生无数以PB(Petabyte，1PB=1024TB））为单位的数据。有统计显示，每位互联网用户每日流量约1.5GB，一家智能医院每日数据量约3TB，无人驾驶汽车约4TB，而云视频供应商每日数量可达750PB。据IDC预测，全球数据总量预计在2020年达到44个ZB（Zettabyte，1ZB=1024EB,1EB=1024PB），而我国数据量将达到8060个EB，占全球数据总量的18%。海量的数据对存储介质、存储位置和数据的存储方式提出了更高的要求。

从存储介质来说，存储设备本身容易收到人为或者别的自然因素而发生故障，且随着存储容量的增加，存储设备增多，出现故障的可能性大大增加，但是存储设备的可靠性却一直没有得到显著提高（SSD从SLC到MLC和TLC可靠性不断下降，磁盘随着单位面积写入数据更多导致可靠性无法提升），从而给数据的持久化存储带来巨大挑战。

从存储位置和存储方式来说，内部部署存储转为云存储一直是过去十年的主题，亚马逊、谷歌、Facebook、苹果和微软等科技巨头都纷纷投入云存储开发，尽管云存储行日趋成熟，但是仍存在着不少问题，上述这些领先的云存储服务提供者都是高度集中的，他们可以控制运行在他们云上的所有数据，这引发了许多关于数据保护、隐私和所有权的问题。虽然集中式云存储主机必须通过反隐私法被监视、审查并向第三方公开数据，用户存储的数据可能被移动、更改或查看，有法律确保这些公司不会滥用权力，但是他们仍然是不受欢迎的第三方。例如，亚洲和欧洲的公司并不想使用美国的云服务，因为不能确定数据是否得到完全的保护。此外，集中式云存储架构还会产生单点故障问题，并且是黑客的重点攻击目标，正如我们在2014年的iCloud黑客事件和2012年的Dropbox黑客事件中所看到的那样，用户的私有信息是黑客的目标。而分布式存储数据不是存储在单个公司的服务器上，它是通过加密后分布在分散的网络上。这意味着，除了数据的所有者之外，没有任何一方可以访问数据，这使得分布式的方法成为目前最安全的云存储解决方案。而如果对分布式系统中的数据进行正确的容错处理也是备受关注的一个问题。

上述几个方面都是我们了我们在存储系统中增加容错的必要性。目前有两种主流的容错方式，一种是副本策略，另一种是纠删码。副本顾名思义就是复制，在不同的地方保存数据的几个副本，一次来防止数据的丢失。而纠删码是一种数据被分割成片段并存放在不同地点，用来保障数据弹性和长期的数据完整性的方法。

存储中的数据可根据访问热度分为三种：热数据、温数据和冷数据。热数据通常需要在高性能、高度可用、高要求的环境下即时存取。温数据处于近线或在线备份环境中，用户需要快速访问这些数据，但访问的次数较少。冷数据通常访问次数非常少，大多用来归档备份。随着存储系统的规模逐渐庞大，存储系统中的冷数据的增速将远超过热数据的增速，如何可靠安全地保存冷数据，对冷温热三种数据做合适的处理，使之能够需要的时候能够正确无误地被获取，成为存储系统中一大挑战。我们可以对针对数据访问热度不同，提出不同容错机制。设定热数据、温数据、冷数据阈值，高于热数据阈值的判断为热数据，低于冷数据阈值则判定为冷数据，在冷热数据阈值之间的判定为温数据。根据文献^[1]中对两种容错在存储效率，计算开销，修复效率方面的对比，我们可以对热数据采用副本容错机制，对温数据以及冷数据使用纠删码容错机制。目前在不少主流的分布式系统(HDFS、GFS-II、Ceph、Azure)中都实使用纠删码策略来替代副本策略，关于纠删码的选择有很多种，对其性能进行分析，为数据选择合适的纠删码策略有待进一步对研究。

1.2国内外现状研究

目前最常用的两种冗余策略是纠删码策略和多副本策略。多副本策略是将原始数据进行备份，将多个副本分别存放在不同的节点，如果最多可以容许k个节点数据故障，那么则至少需要有k个副本，并各自存放在不同的地点。该策略是目前研究最深和应用最广泛的，著名的Hadoop云存储系统^[2]、ceph等系统中都用到了该技术。副本策略的优点在于没有任何计算、构造方便，但是缺点在于存储空间利用率不高，要提升容错率必须使用大量存储空间，且更新数据的代价很大。