存储小文件的云文件系统的设计与实现

随着互联网的不断发展，越来越多的讯息保存在互联网的服务器中。其中相当大的一部份，以文件形式保存在服务器磁盘中。这些文件的单个文件尺寸通常较小，但是数量巨大。目前国内多数中小型互联网公司仍然在使用基于本地文件系统的方式来存储大量的文件。随着文件数量的提升，这种方案有着性能低、管理难等问题。云计算概念兴起之后，开始有了一些云存储的解决方案。比如Google的GFS、Hadoop的HDFS、Amazon的S3等。但是这些解决方案针对上文这种文件尺寸较小、数量巨大、读写分布不均衡等存储需求有都有其自己的局限性。如何使用云计算技术，将文件存储集中高效管理，并且高效检索、读写文件，是本论文研究的方向。本论文针对这种海量小文件的存储需求，提出了一套单中心多存储节点架构的云存储解决方案，并将系统分为客户端库模块、中心控制器模块和存储节点模块这三个部份。论文对这三个部份进行了设计与实现：1.设计与实现客户端库模块。2.设计与实现中心控制器模块。3.设计与实现存储节点模块。