大规模网络存储系统数据布局策略的研究与实现

发布时间：2024-03-25 03:11

　　随着Internet技术的不断发展,网络上的数据迅速增长,无论是在生物医学、核能等科学研究和工程领域,还是在电子商务、金融等信息服务领域,高性能大容量的大规模网络存储系统已经成为目前数据存储的主要方式。大规模网络存储系统中的海量数据管理已经成为很多领域的挑战性问题,关于数据布局策略的研究在海量数据管理中尤为重要。 如何将PetaByte级的数据分布到大量的存储设备上是当前大规模网络存储系统面临的很大难题。设计一种适合大规模网络存储环境下的数据布局策略是解决问题的关键。 为满足当前大规模网络存储系统对扩充容量、提高数据访问速度和保证数据安全的要求,本文分析和比较了现有大规模网络存储系统中数据布局策略和当前对数据布局策略的研究成果,并结合半正定规划算法和动态区间映射算法两种方法,提出了一种“层次化”的数据布局策略。该策略将大量存储设备划分为数量较少的设备集合;半正定规划算法可以解决带有不同数量副本的文件的放置问题,将文件的不同副本放在不同的设备集合上,保证文件的存储局部性和数据可靠性;动态区间映射算法解决了文件分片后的放置问题,将文件条放在设备集合内的不同存储设备上,保证系统具有较好的自适...

【文章页数】：75 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
        1.1.1 大规模网络存储系统概述
        1.1.2 大规模网络存储系统体系结构的发展概况
    1.2 大规模网络存储研究中数据布局策略概述
        1.2.1 数据布局策略的设计目标
        1.2.2 数据布局策略的相关概念
    1.3 课题研究的意义
    1.4 论文结构
第二章 大规模网络存储系统数据布局策略分析
    2.1 国内外关于数据布局策略研究现状
        2.1.1 现有大规模网络存储系统的数据布局策略
        2.1.2 当前关于数据布局策略的研究
    2.2 现有数据布局策略分析
第三章 “层次化”数据布局策略
    3.1 “层次化”数据布局策略设计目标
        3.1.1 对存储设备的直接管理
        3.1.2 对存储设备的“层次化”管理
    3.2 “层次化”数据布局策略描述
    3.3 “层次化”数据布局策略算法设计
        3.3.1 半正定规划算法
        3.3.2 动态区间映射算法
    3.4 本章小结
第四章 “层次化”数据布局策略的测试
    4.1 实现平台
    4.2 实验测试与结果分析
        4.2.1 半正定规划算法的测试与分析
        4.2.2 动态区间映射算法的测试与分析
    4.3 本章小结
第五章 基于Lustre 模拟器的测试
    5.1 Lustre 模拟器
        5.1.1 Lustre 文件系统
        5.1.2 模拟器概述
        5.1.3 模拟器模型
        5.1.4 模拟器组成
    5.2 基于Lustre 模拟器的测试与分析
        5.2.1 模拟器的正确性分析
        5.2.2 模拟器数据布局策略分析
        5.2.3 实验测试与分析
    5.3 本章小结
第六章 结束语
    6.1 课题取得的成果
    6.2 下一步的工作
致谢
参考文献
作者在学期间取得的学术成果



本文编号：3938447