基于数据消冗和Chord协议的分布式存储技术研究

发布时间：2024-04-06 17:27

　　随着信息时代数据规模急剧增长,信息量不断激增,数据信息已成为人类宝贵的财富,数据的价值已经远远超过了计算机系统本身的价值;另一方面,各种不确定因素又使得数据极易丢失,从而给用户带来了巨大的损失。因此,面对海量数据对存储系统各方面需求的挑战,高效率的数据存储技术受到了人们的广泛关注。 为适应海量数据对存储系统各方面的需求,本文首先研究了现有的分块级数据消冗技术,比较了定长分块数据消冗和变长分块数据消冗的优缺点,分析了影响数据消冗效果的因素。接着重点研究了基于Rabin指纹的变长分块算法,提出了一种新型的文件切点查找算法。 本文还根据基于分块的数据消冗技术和基于Chord的分布式存储技术的特点对文件资源定位进行了设计,并根据Chord协议的特点将文件分块的索引信息按区间分布在不同的节点中,以二级索引的方式解决了集中式分块索引的难题。本文最后提出了基于Chord协议的分布式存储技术和基于Rabin指纹的变长分块的数据消冗相结合的的分布式存储系统结构。 实验结果表明,在基于Chord协议的分布式存储系统中引入数据消冗技术,可以降低整个分布式存储系统的存储负担。此外,数据传输量的减少也有利于提高...

【文章页数】：53 页

【学位级别】：硕士

【部分图文】：

图4-2本系统数据消冗流程

哈尔滨工业大学工学硕士学位论文的SHA-1值定位到相应的节点，并在对应节点的分块索引中进行检索块SHA-1值存在，则不用处理，若不存在，则将分块存储到该对应节该分块的SHA-1值插入到该节点的分块索引中。所有分块处理完毕，元数据存储到文件SHA-1值对应的目标节点....

图4-3中显示了节点55的FingerTable表

为了提高查询效率，减少定位开销，网络中的每个节当于标识符的二进制位数）个表项的路由表，也叫Finger用以记录距离该节点的节点，节点n的

图5-3节点N6加入时资源转移放方向Figure5-3ResourcestransferdirectionafternodeN6join例如在图5-3中N1和N8之间加入一个新节点N6，则要把节点N8上的哈

图5-3节点N6加入时资源转移放方向Figure5-3ResourcestransferdirectionafternodeN6join例如在图5-3中N1和N8之间加入一个新节点N6，则要把节点N8上在1和6之间（包括6，不包....

图5-4节点N14退出时资源转移方向Figure5-4ResourcestransferdirectionafternodeN14quit

图5-4节点N14退出时资源转移方向Figure5-4ResourcestransferdirectionafternodeN14quit系统数据消冗性能测试对系统数据消冗性能的测试，主要是测试系统数据的消冗比例。实验口大小为48Byte，数据块平均大小....

本文编号：3946947