基于物联网的农业大数据处理方法研究

发布时间：2024-03-27 01:11

　　物联网在农业信息化中的推广,庞大的传感器和RFID节点,能够更好地对生产环境中的信息进行监控,但是,它们采集的数据量规模会越来越大,数据会出现海量冗余,会对我们后续的业务处理任务造成了一些影响,不仅有性能瓶颈等问题,还会导致输出结果不可信。如此巨大规模的数据,是传统的数据处理方法遇到的难题,而随着大数据时代的步伐,出现了很多大数据计算框架,如Hadoop、Storm、Spark,很多企业选择它们,并做出了成功的案例,它们也相继被应用在农业大数据领域。根据数据的特点和使用场景,选择合适的处理工具,是进行数据处理必须要考虑的因素。对高度冗余的数据如何做预处理,对大数据做处理分析的系统如何做到健壮高效,都是不可忽视的细节。本文依据实践经验,基于农业系统中数据的数据流向和数据特征,根据Spark处理分析数据时的机制,从减少数据冗余,并从做大表关联优化的问题入手,提出了基于BloomFilter的数据过中间件,提出了Spark大表关联优化方法。本文的主要研究工作如下:(1)基于物联网的农业数据采集端,采集的数据往往海量冗余,给后面的分析处理带来了一定问题,本文根据BloomFilter过滤数据的...

【文章页数】：58 页

【学位级别】：硕士

【部分图文】：

图2-2BloomFilter的插入查询过滤

任意一个元素a被添加到BloomFilter中需要做以下两个步骤，首先，分别对通过这k个哈希函数进行K次求值分别得到k个取值范围在V中的不同的值，将数组中分别对应的索引的值都设置为1。在需要判断任意一个给定的元素y是否含与S时，我们还是需要先对元....

图2-3MapReduce计算流程

图2-3MapReduce计算流程MapReduce计算流程如图2-3。需要指出，不同的Map任务之间不会进行通信，而且不同的Reduce任务之间也不会发生任何信息交换。对于用户也不能显式地从一台机器向另一台机器发送消息，全部的数据交换都必须是通过MapRed....

图2-4HDFS体系结构

2.3.2HDFS文件系统在物理结构上，分布式文件系统是多个硬件节点构成的，按照功能划分为两类[28]，一类叫“主节点”(MasterNode)，因为被用来维护系统的命名空间，也称为“名称结点”(NameNode)；另一类叫“从节点”（SlaveNode），被设计用来进行....

图3-1采集端系统架构图

图3-1采集端系统架构图3.2RFID数据流特征在RFID的应用场景中，通常有多个阅读识别器，同样的一个标签静止或状态下在同一时间被多个阅读时识别并被实时传输至上层应用。采集系统会一别的信息，从时间的角度上，我们可以把这一系列的识别信息看作是一个RFID我们用S{....

本文编号：3939969