摘 要

随着大数据和互联网的发展，当下现有的存储系统中，一不留神就需要存储数百万、千万甚至上亿个文件或对象，单位时间内对存储系统的访问次数和并发访问量也达到了空前的量级，在这种情况下，树状目录结构会给存储系统带来很大的开销和诸多其他的问题，从而成为系统的瓶颈。现在回过头去理解目录结构的初衷——有效的数据管理，放在今天，它的作用变得非常有限。由于一个文件最终只能放到一个文件夹下，而文件的属性却是多样的，从而导致通过目录的划分对文件的管理和分类变得越来越难。相对而言，具有扁平的数据组织结构的对象存储系统，利用元数据检索的方式对数据进行管理，通过匹配元数据的特有属性值实现数据的读取和管理，因而说对象存储更能满足数据管理的需求。

对象存储有着典型的互联网和大数据时代共有的特点，随着“互联网 ”的普及，互联网技术正在渗透到各行各业，在各行业中产生的数据量也在成指数倍数增长，在这种环境下，对象存储的作用将得到充分的发挥。

关键词：对象存储；HDFS；文件系统

Abstract

With the development of the Internet and big data storage system, now, tens of millions, tens or even hundreds of millions of files / objects in unit time and the number of concurrent access also reached a hitherto unknown magnitude, in this case, the tree will bring great overhead and many problems to the storage system, a system the bottleneck. The directory structure of the original data management, now we have a very limited role, it is difficult to partition the file directory and classified management, because a file only in a folder, as a leaf node tree, and the file attribute is multi dimension. The data structure has a flat object storage system, the metadata retrieval method for data management, get a Index or Key through the matching of metadata, according to the Index or Key to find and read the data, compared with the traditional file system, object storage can meet the data management needs.

Object storage has a distinct characteristics of the era of the Internet and big data, with the "Internet plus" promotion, Internet technology is penetrated into all walks of life, the amount of data is the exponential growth in multiple object storage will play an increasingly important role.

Key Words: object storage;；HDFS；file system

目录

第1章 绪论 1

1.1 研究背景 1

1.2 国内外研究现状 2

1.3 研究的目的及意义 3

第2章 主流分布式文件系统的分析 5

2.1 GFS 5

2.2 CEPH 6

2.3 HDFS 7

2.3.1 HDFS概述 7

2.3.2 HDFS文件读写流程 8

第3章 对象存储概述 13

3.1对象存储的基本理论 13

3.2对象存储的特点 13

第4章 系统设计 15

4.1 系统设计 15

4.2 系统模块设计 16

4.2.1用户登录模块 16

4.2.2文件上传模块 17

4.2.3 文件下载模块 20

4.2.4文件分类模块 21

4.3数据库设计 22

第5章 系统实现与测试 23

5.1系统实现 24

5.1.1用户登录 24

5.1.2 文件上传 25

5.1.3 文件下载 26

5.1.4 文件分类 26

5.2 系统测试 28

第6章 总结与体会 30

第1章 绪论

1.1 研究背景

在这个互联网迅猛发展的时代，各个行业的信息化水平不断加深，而信息化的急速发展直接加速了云计算的产生^[1]。再加上互联网和通信网络的蓬勃发展，全球各地的应用数量的激增，导致应用产生的数据信息量呈几何级数爆炸式增长。在这个“大数据”时代，数据决定着一个企业、一个领域的未来发展趋势，为了更快更好更便捷的对这些海量数据进行存储、处理、备份等操作，在云计算技术逐渐提高的基础上，衍生出了云存储的概念及其一系列技术。

云存储是通过应用集群、空间的储存等功能，将网络上不同的存储设备通过一个共同的软件结合起来工作，一起为用户提供网络访问的一个系统存储功能，简而言之，云存储就是将人们所需要的资源放到云计算的存储设备上，而后供人们从云端进行存取的一种新兴存储手段。云存储的特点及优势有如下几个方面^[2]：

1. 易于扩展：云存储系统支持海量数据的分析处理，同时可根据服务器的使用人数和空间，在不影响前端用户使用的情况下，及时扩充存储空间
2. 可靠安全：云存储内部通过用户鉴权，访问权限控制，安全通信（HTTPS，TLS协议）等方式保障安全性。而云服务提供的数据同步功能，则有效避免了介质存储数据造成数据的丢失损坏的问题
3. 资源可控性：用户持有主动控制数据访问权限的能力。
4. 高资源利用率：云存储的通用性大幅提高了资源利用率，并且云存储是将数据集中起来，用户能够在任何地点，依靠单机或是移动设备随时随地访问或读取数据，从而实现网内资源共享和工作的协同，避免了传统的资源交换带来的效率低下的问题，提高资源了的利用率。
5. 低成本：云存储系统的普遍特点是拥有高性价比，云存储大大减少企业内部移动存储设备的使用，降低了企业的建设成本；在云存储模式下，企业属于租赁服务，并不需要配备专业人员维护，大大降低了企业的运维成本；可将云存储所在的数据中心建在电力资源充沛的地区，从而大幅降低能源消耗成本。
6. 无接入限制：相比传统存储而言，云存储更加强调对用户存储的灵活度的支持，在云存储的服务域内的存储资源可以随处接入，随时访问。
7. 易管理：由企业将大部分数据迁移到了云存储服务器上，几乎所有的升级维护工作都是由云服务提供商来完成，从而大大减少了企业内所需的管理员数量，以最少的人员和成本达到更高效的支撑大量上层应用对存储资源的快速部署需求。

在互联网和类互联网的应用场景中和海量文件的存储中，对象存储越来越成为了存储的首选。因为大多数对象存储系统在设计上采用RESTful的HTTP的接口，能方便的进行文件上传下载 等操作，而且能够非常方便地进行横向扩展从而适应互联网环境下的大量用户高并发访问的场景，也能够更好的适应当海量不同数据大小的对象/文件的存储，从几KB到几十GB的文件，都可以存储在对象存储的空间内，小于10KB的数据使用K/V数据库，而大于10GB的文件会被分割为很多个小的对象并行写入对象存储系统中。尽管多数对象存储系统都设置了单个对象大小的上限，但这并不妨碍在多数情况下对象存储展示他的优势所在。

1.2 国内外研究现状

在云计算领域里有两大巨头： Google 和 Amazon ，而它们又有着各自的云存储系统，其分别为 Google GFS 和 Amazon简单存储服务（S3，Simple Storage Service），这两大云存储系统都提供可靠、高性能、易扩展性的云存储服务。Google file system（简称GFS）是Google开发的用于大规模数据密集型应用程序的分布式文件系统，以大量产品硬件为基础对外提供高效可靠的数据访问^[3]。 2013年Google文件系统的代码更新至名为Colossus的新版代码^[4]。另一云计算巨头亚马逊在2006年发布的AWS S3 服务及其使用的REST、SOAP接口。也就是在AWS S3中，对象存储被注入云服务基因，成为云存储的一个新模式，从某种意义上说，对象存储即S3。近年来AWS S3服务成为对象存储市场的霸主，也成为了事实上的市场标准。在S3之后，其他公司的推出的对象存储服务都是在高度兼容S3的基础上提供的云存储服务。截至目前，对象存储在企业应用中被广泛采用。对象存储凭借其低成本、可扩展、兼容性强和标准化的优势，成为在企业应用中率先考虑到的云存储服务。文件系统的发展趋势更多的是趋向于不同应用场景的专用文件系统，而不再是像以前一套Filesystem适用于所有场景那样。从对象存储出现的那一刻开始，就意味着传统文件系统需要让位一部分给对象存储或者其他存储形态，这样才能更好的适应多种多样的行业环境。

目前，对象存储已经得到了相当广泛的运用。在国内，对象存储服务也如雨后春笋般冒了出来。国内的七牛云存储、阿里云的开放存储服务OSS、首都在线的GSS、青云的对象存储服务等一系列对象存储服务的出现，标志着国内对象存储市场正凭借低成本，高可扩展性和数据的共享性优势进入一个快速发展的阶段。也有人以对象存储为基础，进行了进一步的开发或者改进，从而使得对象存储能够更好地提供文件的归档备份、MapReduce大数据分析处理等功能，更有甚者直接将对象存储的接口转为了文件系统接口等。

1.3 研究的目的及意义

基于对象存储的文件管理系统旨在为用户提供一个直观可视化的文件系统来实现与对象存储服务的文件传输。在此文件系统中，可以方便快捷的实现将本地文件保存至S3云服务中，也能轻易做到对S3空间内文件的管理。同时此系统是一个web实现的文件系统，并不需要下载安装客户端，使用起来简单易懂。

随着云计算和移动互联网的普及，越来越多的业务在云端开展，越来越多的数据在云端存储，云存储服务的技术也越来越成熟。目前，对象存储凭借其实现简单、成本低廉的优势在云存储服务中独树一帜，但是由于技术瓶颈，文件传输速度会受到很大的限制。而HDFS文件管理系统本身是一款分布式文件管理系统，在分布式文件管理系统中，文件的上传、下载速度远远高于对象存储服务，但是其成本高、针对小文件的存储易生成碎片占据存储空间等问题，也影响了其存储效率。在本文件管理系统中，将HDFS和对象存储相结合，文件以相对对象存储较高的传输速度与HDFS进行文件传输，文件在HDFS中暂时被保存并通过HDFS与对象存储空间进行交互传输，文件传输完成后，HDFS内的临时文件被释放，并不会产生大量的碎片冗余，从而提高了存储效率。

同时，在本次毕业设计的过程中，本人进一步了解了前沿的云计算、云存储、云服务的发展现状、发展前景及相关技术，深入学习了java web的开发知识；运用软件开发流程方法，加强自身软件开发的意识与能力，通过实践，提高自己学习与动手水平；汇总大学四年学习到的知识，并运用到毕业设计中，发现自身的不足，努力完善自我，提高各方面的能力。

1.4 论文结构

论文共分为六章，主要内容分别如下。

第一章：绪论。首先介绍基于对象存储文件管理系统的研究背景与国内外研究现状，然后阐明了研究的目的及意义，最后简要介绍了论文的结构；

第二章：主流分布式文件系统的分析。针对当前使用较多的三套分布式文件系统的整体架构、特点、存储优势等方面进行了较为系统的分析，尤其针对开发使用到的HDFS进行了相对详尽的描述和分析。

第三章：对象存储概述。主要进行了对象存储的发展趋势和标准化接口S3的分析研究、具体应用场景的分析、以及对象存储在云服务中的优势。

第四章：系统模块设计。对系统进行详细设计，设计系统各个功能模块的界面显示和具体的实现流程，同时设计实现代码类和方法。

第五章：系统实现与测试。根据系统设计完成基于对象存储的文件管理系统的实现，然后按照系统功能模块对系统进行测试与完善。