针对地震大数据的分布式文件系统的研究与设计

发布时间：2024-02-19 16:59

　　现代社会随着科学技术不断地进步发展,互联网的不断普及,人们逐渐了解了云这个全新的定义。伴随着云时代的到来,大数据也同样进入了人们的视线。信息技术的长足进步,大数据的应用已涉及到了社会的各行各业。其中在地震勘探方面,为了满足社会的需求,地震勘探所产生的数据量也在大幅增长,海量数据的产生虽然很好地反映了社会对石油、天然气等资源的极大需求,但是大规模的数据的处理问题也给地震勘探行业带来严峻的挑战。 地震勘探产生的海量数据所带来的问题是多方面的,包括存储、读取、冗余、抽取等。本文重点针对数据的存储与读取两个方面。 在实际情况中,读取地震数据需要考虑用户的具体情况,满足用户的需求,这一般体现在读取数据的速度和效率方面,同时还需要考虑到地震数据本身的特点。本文针对这些方面设计了一种架构,采用分布和分级的策略。分布即对地震数据的分布式存储：把大量的地震数据分散到各个存储节点进行存储,同时通过一个主节点对这些数据节点进行管理；分级即数据的分级查询：从主节点到数据节点,分级地对所需要的数据进行查询,进而得到用户所需要的数据。 本文在此架构的基础上,针对地震勘探数据本身的存储格式即SEG-Y格式,以该格式...

【文章页数】：78 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 引言
    1.2 研究背景
    1.3 本文主要工作
第2章 地震勘探以及相关现状分析
    2.1 石油勘探简介
    2.2 地震勘探原理
    2.3 地震勘探的现状
    2.4 地震勘探面临的问题
        2.4.1 大数据环境下的问题
        2.4.2 用户需求的问题
        2.4.3 地震勘探现有方案的问题
    2.5 本章小结
第3章 分布与分级式架构基础
    3.1 地震数据特点
    3.2 地震数据格式
        3.2.1 地震数据格式SEG-Y简介
        3.2.2 地震数据格式的改进
    3.3 分布式与分级式
        3.3.1 分布式与分级式策略
        3.3.2 分布式与分级式系统设计
    3.4 系统其他设计细节
        3.4.1 索引
        3.4.2 预读
        3.4.3 系统工作过程
    3.5 本章小结
第4章 基于Fast DFS的地震数据系统的设计
    4.1 分布式文件系统Fast DFS
        4.1.1 Fast DFS简介
        4.1.2 Fast DFS架构特点
        4.1.3 Fast DFS的工作流程
        4.1.4 Fast DFS文件名策略
    4.2 针对地震勘探数据的Fast DFS——BDSS
        4.2.1 Fast DFS在地震勘探数据处理中的优势
        4.2.2 通信协议
        4.2.3 两级索引实现
    4.3 系统测试
        4.3.1 文件上传测试
        4.3.2 文件下载测试
    4.4 性能与效率对比
        4.4.1 集群配置
        4.4.2 测试过程
        4.4.3 结果分析
    4.5 本章小结
第5章 基于Hadoop DFS的地震数据系统的设计
    5.1 Hadoop
        5.1.1 Hadoop简介
        5.1.2 Hadoop现状
        5.1.3 Hadoop组成
    5.2 Hadoop分布式文件系统HDFS
        5.2.1 HDFS简介
        5.2.2 HDFS架构
        5.2.3 HDFS数据副本策略与RPC协议
        5.2.4 HDFS数据流程与机制
    5.3 HDFS小文件问题研究
        5.3.1 HDFS小文件问题概述
        5.3.2 基于地震数据的小文件合并策略
    5.4 针对地震勘探数据的HDFS——SHDFS
        5.4.1 概述
        5.4.2 相关Java文件类
        5.4.3 文件合并与两级索引的创建
    5.5 相关测试与性能对比
        5.5.1 小文件合并测试
        5.5.2 系统运行demo
        5.5.3 性能对比
    5.6 本章小结
第6章 总结与展望
参考文献
致谢
在读期间发表的学术论文与取得的其他研究成果



本文编号：3903028