基于风格转换的人眼图像合成方法研究

发布时间：2022-08-23 12:21

　　在人机交互、自动驾驶等领域,人眼视线估计发挥着巨大的作用。目前人眼视线估计方法的效果深受其训练数据的质量所影响,视线估计的训练数据主要包含两个类型:人眼真实图像和人眼合成图像。真实图像更符合实际场景的要求,但图像中的干扰因素较多、需人工标注;合成图像受外界干扰因素少、可以自动标注,但缺少真实性、数据分布没有真实图像丰富。因而,使用这两种人眼图像训练出来的视线估计模型,在实际场景测试时效果都很不理想。针对合成图像训练出的视线估计模型泛化性差,真实图像采集和标注成本大、干扰因素多的问题,本文创新性地将风格转换的思想引入视线估计中,提出了一种基于风格转换的人眼图像合成方法,重点对人眼真实图像进行改善,并结合现有人眼合成图像分布均匀、易于学习的优势。具体地,将真实图像的标注信息作为内容信息,将合成图像的分布作为风格信息,通过使用本文方法生成的图像训练出更为鲁棒性的视线估计模型进而提高视线估计的精度。该方法包含三部分,语义分割网络、特征提取网络和损失网络。针对传统风格转换方法对瞳孔和虹膜这些局部信息保留不充分的问题,在本文方法中设计了一个语义分割网络来获得局部瞳孔和虹膜区域信息。通过本文改进的特... 

【文章页数】：57 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状和现存问题
        1.2.1 视线估计
        1.2.2 人眼图像合成
        1.2.3 风格转换
    1.3 论文的研究内容和主要贡献
    1.4 论文结构
2 相关研究理论基础
    2.1 视线估计
        2.1.1 基于模型的视线估计
        2.1.2 基于外观的视线估计
    2.2 风格转换
        2.2.1 风格转换理论基础
        2.2.2 内容重建损失
        2.2.3 风格重建损失
        2.2.4 损失优化方法
    2.3 图像分割
        2.3.1 图像分割理论基础
        2.3.2 语义分割
    2.4 本章小结
3 基于风格转换的人眼图像合成方法
    3.1 概述
    3.2 语义分割网络
    3.3 特征提取网络
    3.4 损失网络
        3.4.1 风格重建损失
        3.4.2 内容重建损失
        3.4.3 风格转换损失
    3.5 本章小结
4 实验结果与分析
    4.1 风格转换
        4.1.1 实验细节
        4.1.2 语义分割结果
        4.1.3 主观定性结果
        4.1.4 客观定量结果
    4.2 基于外观的视线估计
        4.2.1 实验细节
        4.2.2 主观定性结果
        4.2.3 客观定量结果
    4.3 本章小结
结论
参考文献
致谢
作者简历及攻读硕士学位期间的科研成果


【参考文献】：
期刊论文
[1]结合全卷积网络的无监督视频目标分割[J]. 霍达,马诗源.  计算机与现代化. 2019(06)

博士论文
[1]复杂光环境下人眼视线追踪技术研究[D]. 王亚飞.大连理工大学 2018

硕士论文
[1]基于大规模人眼图像合成的视线估计方法研究[D]. 赵彤彤.大连海事大学 2019



本文编号：3677754