摘 要

随着大数据时代的到来，各个领域对信息技术的依赖程度越来越高，人们的方方面面都与大数据连接，海量信息对计算机存储系统提出了新的挑战。为了提高数据的可靠性和可用性，需要研究高效并易于实现的存储容错技术，例如纠删码技术。

论文主要研究了基于Linux C对不同存储介质上纠删码三种访问操作的读写性能测试程序的实现。实现了包括硬盘、固态盘、内存、U盘的四种存储介质上的纠删码读写性能测试，评估纠删码在不同存储介质的访问性能。

研究结果表明：数据写、正常读、降级读三种纠删码访问操作的性能从好到坏：内存gt;固态盘gt;硬盘gt;U盘。当k=m时，三种访问操作的性能都比附近的k或m的取值要好；packetsize在区间[372,552]上的访问性能最佳；U盘的访问性能随w变化的影响最大；横向比较正常读和降级读的性能（其他各方面相同），固态盘、硬盘、内存都是正常读的性能更好，而U盘是降级读的性能更好，表明了程序中正常读时也读取了校验数据块，正常读的性能还能提升。

关键词：Linux；C；读写性能；纠删码；

Abstract

With the advent of the era of big data, more and more dependent on information technology in various fields, all aspects of people connected with big data, huge amounts of information to the computer storage system puts forward a new challenge. In order to improve the reliability and availability of data, there is a need to study efficient and easily implemented storage fault-tolerant techniques, such as the technique of rectifying and deleting.

The paper mainly studies the implementation of the read-write performance test program based on the three kinds of access operations on different storage medium. Implements including hard disks, flash disk, memory, four kinds of U disk storage medium on rectifying delete code to read and write performance tests, assessment remedy delete code in different storage medium access performance.

The results of the study showed that the performance of the three kinds of operation of data writing, normal reading and demotion reading was from good to bad: memorygt; Solid-state diskgt;hardgt;diskgt;USB Horizontal comparison of normal reading and degraded reading performance (the other various aspects are the same), solid-state disk, hard disk, memory is normal read performance is better, and U disk is degraded read performance is better, show the normal read also read the calibration data in the program, the performance of normal read still can be improved.

Key Words：Linux；C；Read and write performance; erasure codes;

目 录

摘 要 I

Abstract II

第一章 绪论 2

1.1 研究目的及意义 2

1.2 纠删码存储的国内外现状 2

1.3 采用的技术方案 3

1.4 Linux 环境下C语言 3

第二章 纠删码存储的相关研究 4

2.1纠删码研究的意义 4

2.1.1 镜像方法 4

2.1.2 纠删码方法 5

2.2 纠删码存储的存取过程 5

2.3纠删码存储的分类 6

2.3.1 Reed-Solomon (RS) 编码 6

2.3.2范德蒙RS编码 7

2.3.3 CRS编码 8

第三章 测试程序的编码实现 10

3.1 纠删码测试的研究意义 10

3.2 Jerasure编码库 10

3.2.1 重要参数 10

3.2.3 接口函数 11

3.3 测试程序介绍 11

3.3.1 数据写测试程序 12

3.2.2 数据读模块 14

第四章 测试结果分析与评估 17

4.1 实验环境 17

4.2 数据写的测试结果分析 17

4.3 数据读的测试结果分析 21

第五章 展望与总结 23

参考文献 24

致 谢 27

第一章 绪论

1.1 研究目的及意义

　　随着政府事务、国防、金融、工商业、学校、医疗等各个领域对信息技术的依赖程度提高，越来越多的关键数据信息被存储在计算机系统中，数据正以爆炸式的速度增长，海量信息对存储系统提出了巨大的挑战。数据信息化在提高工作效率和业务水平的同时，也带来了数据失真或数据丢失的风险。一旦存储系统中的关键数据丢失或毁坏，将造成不可估量的间接或直接经济损失，为了保障数据存储的可靠性以及重用性，必须采用数据冗余机制。数据冗余机制分为副本以及纠删码技术，前者是对数据进行备份到其他存储系统中，后者是对数据进行分块、编码、分发、最后将数据分块存储到独立的存储设备上，而纠删码技术在相同的存储空间下，拥有更高的容错率，广泛应用于存储系统中。特别地，随着存储系统中存储介质的数量大大增加^[1]和存储介质的多样化和复杂化，使得出现存储介质错误和存储介质上的潜在扇区错误^[2]的概率越来越高，存储系统的可靠性正受到了严重的挑战。因此，研究存储介质对存储系统性能的影响显得尤为重要。而此次研究，就是研究不同存储介质上的纠删码的读写性能，并进行性能的比较和分析，提出提高纠删码性能的方案，从而提高数据存储的可靠性和重用性。

1.2 纠删码存储的国内外现状

纠删码（Erasure Code)早期是一种编码容错技术^[5]，最早应用于通信行业，解决数据传输中的检错和纠错问题，后来纠删码逐渐应用到存储系统中的数据检错和纠错问题中，以提高存储系统的可靠性，并根据存储系统应用的特点逐步得到改进和推广。而近几年，尤其是规模较大的应用场景下，因其高容错能力和低存储空间开销的优点^[4]，纠删码越来越多的出现在选择范围内，成为RAID存储系统、副本策略之外的第三种选择，因此也获得了越来越多的关注。

近年来，纠删码存储方案研究得到学术界和工业界的广泛重视。在国内，纠删码存储研究主要集中于磁盘阵列与阵列编码两个分支上，如中科院研究生院提出一类纠双错MDS阵列纠删码（V码）^[6]；南开大学对大规模磁盘阵列下多容错编码方面进行了研究^[7]；华中科技大学也对磁盘阵列的容错编码和重构优化进行了研究，为RAID-6设计了P编码和M编码[8]，以及RAID重构优化方案WorkOut和VDF^[6]。在国外，纠删码存储集群相关研究主要集中于国外大公司，例如：Google在其GFS文件系统中增加了RS码支持^[10]；微软研制的Azure云存储系统也支持RS码^[11]；Facebook采用Hadoop HDFS来搭建其Blob 存储集群，其采用了Mirrored RAID-5编码和RS编码^[12]；IBM所收购的Cleversafe致力于归档存储，其采用柯西RS码来获得高性价比存储^[13]。^[14]