基于Hadoop平台径流分析方法的研究和应用
发布时间：2023-05-08 02:59
干旱和洪水灾害已经严重制约了我国的经济建设,国家对水情监控分析的要求也越来越高。现代水文监测系统,不仅需要有准确的短期分析能力,以防御突发的自然灾害;还要有中长期的分析能力,以便制定应对措施。传统单服务器模式的水文监测系统,由于速度慢、能耗高、可扩展性差,已经不能满足新的需求。水利云平台由于具备资源分配和调度的特点,是水利行业水文信息化的发展方向。本文以径流为分析对象,径流指的是单位时间流经封闭管道或明渠有效截面的流体量。在流域的径流分析中,流域的初始水文特征和气候条件是影响未来径流变化的重要因素。因此,确定符合实际情况的初始水文条件和解释因子是提高中长期径流回归分析精度的有效方法。本文研究了Hadoop云计算技术和径流分析的方法,结合径流分析业务,设计和实现了的水文监测分析平台。主要工作如下:(1)采用B/S和C/S的模式,设计基于Web应用服务器的水文信息监测系统。B/S模式直接与用户进行交互,C/S模式用于接收水文采集终端和外部数据。(2)以传统的水文平台为基础,通过额外扩展一个Hadoop计算集群,设计和搭建了一个由Web服务器和Hadoop计算集群组成的水文信息监测平台。利用...
【文章页数】：86 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 绪论
1.1 课题来源
1.2 课题研究背景和意义
1.3 国内外研究现状
1.3.1 水利云平台的研究现状
1.3.2 Hadoop平台应用现状
1.3.3 水文径流回归分析方法的研究现状
1.3.4 分类回归算法的研究现状
1.4 论文研究的内容和章节安排
第2章 基于HADOOP水文分析平台的设计
2.1 原有的水文平台
2.1.1 原有平台的结构和功能
2.1.2 原有平台的数据处理流程
2.1.3 原平台的性能缺陷
2.2 HADOOP平台
2.2.1 项目简介
2.2.2 Hadoop的基本架构模型
2.2.3 分布式文件系统HDFS的介绍
2.2.4 编程模式MapReduce
2.3 水文监测平台架构
2.3.1 水文信息预测平台的需求分析
2.3.2 平台整合后的架构设计
2.4 水文预测平台的搭建
2.4.1 硬件环境
2.4.2 软件环境
2.4.3 网络环境
2.4.4 Hadoop集群环境搭建
2.5 水文预测平台的存储和计算服务
2.5.1 数据存储设计方案
2.5.2 集群并行计算设计方案
2.6 水文数据存储的安全性
2.7 本章小结
第3章 径流回归分析算法研究
3.1 径流和水文-气象遥相关
3.1.1 径流的定义
3.1.2 水文-气候遥相关
3.2 基于随机森林径流分析算法研究
3.2.1 决策树
3.2.2 随机森林算法
3.2.3 基于随机森林径流分析算法
3.3 基于支持向量径流分析算法研究
3.3.1 支持向量机回归的原理
3.3.2 基于支持向量机径流分析样本的选取
3.3.3 基于支持向量回归的径流分析算法
3.4 基于逐步线性回归的径流分析算法研究
3.5 本章小结
第4章 基于HADOOP月径流分析模块的设计与实现
4.1 径流数据处理的流程
4.1.1 总体数据处理流程
4.1.2 Hadoop中的数据处理流程
4.1.3 Web服务器和Hadoop集群数据处理流程
4.2 并行随机森林月径流分析算法的设计
4.2.1 数据预处理
4.2.2 基于并行随机森林径流模型的构建
4.2.3 径流解释因子的筛选
4.2.4 数据集分析
4.3 径流分析模块设计
4.4 水文平台成果展示
4.5 本章小结
第5章 实验分析结果
5.1 实验数据来源
5.2 单机和并行时随机森林运算速度的对比
5.3 径流分析算法比较
5.3.1 评价指标的选取
5.3.2 算法对比
5.3.3 实验结果分析
5.4 本章小结
第6章 总结和展望
6.1 本文工作总结
6.2 工作展望
致谢
参考文献
攻读学位期间获得与学位论文相关的科研成果目录
本文编号：3811848
【文章页数】：86 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 绪论
1.1 课题来源
1.2 课题研究背景和意义
1.3 国内外研究现状
1.3.1 水利云平台的研究现状
1.3.2 Hadoop平台应用现状
1.3.3 水文径流回归分析方法的研究现状
1.3.4 分类回归算法的研究现状
1.4 论文研究的内容和章节安排
第2章 基于HADOOP水文分析平台的设计
2.1 原有的水文平台
2.1.1 原有平台的结构和功能
2.1.2 原有平台的数据处理流程
2.1.3 原平台的性能缺陷
2.2 HADOOP平台
2.2.1 项目简介
2.2.2 Hadoop的基本架构模型
2.2.3 分布式文件系统HDFS的介绍
2.2.4 编程模式MapReduce
2.3 水文监测平台架构
2.3.1 水文信息预测平台的需求分析
2.3.2 平台整合后的架构设计
2.4 水文预测平台的搭建
2.4.1 硬件环境
2.4.2 软件环境
2.4.3 网络环境
2.4.4 Hadoop集群环境搭建
2.5 水文预测平台的存储和计算服务
2.5.1 数据存储设计方案
2.5.2 集群并行计算设计方案
2.6 水文数据存储的安全性
2.7 本章小结
第3章 径流回归分析算法研究
3.1 径流和水文-气象遥相关
3.1.1 径流的定义
3.1.2 水文-气候遥相关
3.2 基于随机森林径流分析算法研究
3.2.1 决策树
3.2.2 随机森林算法
3.2.3 基于随机森林径流分析算法
3.3 基于支持向量径流分析算法研究
3.3.1 支持向量机回归的原理
3.3.2 基于支持向量机径流分析样本的选取
3.3.3 基于支持向量回归的径流分析算法
3.4 基于逐步线性回归的径流分析算法研究
3.5 本章小结
第4章 基于HADOOP月径流分析模块的设计与实现
4.1 径流数据处理的流程
4.1.1 总体数据处理流程
4.1.2 Hadoop中的数据处理流程
4.1.3 Web服务器和Hadoop集群数据处理流程
4.2 并行随机森林月径流分析算法的设计
4.2.1 数据预处理
4.2.2 基于并行随机森林径流模型的构建
4.2.3 径流解释因子的筛选
4.2.4 数据集分析
4.3 径流分析模块设计
4.4 水文平台成果展示
4.5 本章小结
第5章 实验分析结果
5.1 实验数据来源
5.2 单机和并行时随机森林运算速度的对比
5.3 径流分析算法比较
5.3.1 评价指标的选取
5.3.2 算法对比
5.3.3 实验结果分析
5.4 本章小结
第6章 总结和展望
6.1 本文工作总结
6.2 工作展望
致谢
参考文献
攻读学位期间获得与学位论文相关的科研成果目录
本文编号：3811848
本文链接：https://www.wllwen.com/projectlw/dqwllw/3811848.html