增强现实环境下多模态融合方法的研究与应用

发布时间：2023-10-04 02:35

　　增强现实技术作为当前人机交互领域的热点研究,为教育、医疗、家居生活等各种领域的发展增添新的活力。特别地,在教育领域利用增强现实技术模拟实验课堂不仅可以丰富学生的体验感,还加强学生动手操作能力,但大多数研究者仅通过卡片标记物去模拟实验,这极大降低了用户的真实操作感,此外,用户大多只是在视觉模态下模拟实验,仅单一模态的交互导致用户的操作负荷过重从而降低了交互效率。因此,本文在国家重点研发计划“云端融合的自然交互设备与工具”和“多模态自然交互的虚实融合开放式实验教学环境”项目的支持下,依托于虚拟实验课堂的应用背景,以多模态融合自然交互为研究目的,提出了在增强现实环境下基于触觉、视觉和听觉的多模态融合方法,并设计和实现了智能化学实验系统界面,旨在让学生通过不同模态的交互,体验和学习化学实验中爆炸、腐蚀等危险现象以及产生气体、发热等肉眼看不到的现象。本文的创新点主要体现在以下三个方面:(1)设计了具有新型结构功能的智能设备;为解决化学实验试剂无法重复使用、实验器材的昂贵以及现存的智能设备无法检测用户特定的行为等问题,本文设计一种新型结构的3D打印智能设备。在智能设备的不同位置设置检测用户行为的多...

【文章页数】：90 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 课题的研究背景与意义
    1.2 国内外研究现状
        1.2.1 基于AR教学实验平台的研究
        1.2.2 基于多模态识别方法的研究
        1.2.3 基于多模态融合自然交互的研究
    1.3 主要研究内容
    1.4 拟解决的关键科学问题
    1.5 本文组织结构
第二章 智能设备的结构设计和交互方法
    2.1 智能设备的结构设计
        2.1.1 智能烧杯的结构设计
        2.1.2 智能指环的结构设计
    2.2 智能设备的底层交互方法
        2.2.1 智能设备的硬件传输方法
        2.2.2 智能设备的软件处理方法
    2.3 实验结果及分析
        2.3.1 实验环境
        2.3.2 统计实验
    2.4 本章小结
第三章 多模态识别方法
    3.1 多模态识别的总体框架
    3.2 基于深度学习的手势识别
        3.2.1 手势数据的采集和预处理
        3.2.2 基于深度学习的手势识别算法
        3.2.3 实验结果及分析
    3.3 基于AR的手势识别与交互算法
        3.3.1 ARG算法
        3.3.2 实验结果及分析
    3.4 语音识别与交互
        3.4.1 语音识别过程
        3.4.2 语音关键词交互
    3.5 本章小结
第四章 多模态融合交互方法
    4.1 引言
    4.2 多模态融合交互的总体框架
    4.3 数据集建立
        4.3.1 听觉信息数据集
        4.3.2 触觉信息数据集
        4.3.3 视觉信息数据集
        4.3.4 多模态信息数据集
    4.4 多模态交互意图分析
    4.5 多模态融合智能导航交互方法
        4.5.1 多模态信息融合方法
        4.5.2 多模态信息融合策略
        4.5.3 基于多模态意图理解的智能导航交互模式
    4.6 算法分析
    4.7 实验结果及分析
        4.7.1 统计性实验
        4.7.2 比较实验
    4.8 本章小结
第五章 基于增强现实下多模态融合交互的智能化学实验系统的设计与实现
    5.1 系统总体设计思路
        5.1.1 面向智能设备的虚拟实验
        5.1.2 面向多模态融合交互的虚拟实验
    5.2 系统总体架构
    5.3 两个典型应用实验案例的设计
        5.3.1 虚拟浓硫酸稀释实验的设计与流程
        5.3.2 虚拟钠和水反应实验的设计与流程
    5.4 系统应用功能展示
        5.4.1 系统开发平台
        5.4.2 虚拟浓硫酸稀释实验功能展示
        5.4.3 虚拟钠和水反应实验功能展示
    5.5 系统测试
        5.5.1 测试方法与测试用例
        5.5.2 测试步骤与测试结果
    5.6 系统用户评价
    5.7 应用示范和用户体验
    5.8 本章小结
第六章 总结与展望
    6.1 全文总结
    6.2 工作展望
参考文献
致谢
附录



本文编号：3851141