篇章级神经机器翻译模型改进研究

发布时间：2024-04-25 00:30

　　近年来,深度学习技术获得了快速发展,机器翻译领域中的相关研究也不断深入。其中,前几年出现的基于注意力机制的编码器-解码器神经机器翻译框架,在效果上彻底超越了传统的统计机器翻译框架。而最新的Transformer框架,更是将神经机器翻译的效果提升到了新的台阶。由于受到训练方法的限制,这些先进的框架在翻译的过程当中都是将句子作为一个整体来考虑的,而在实际的翻译过程中,我们面对的文本往往是由多个句子组成的语篇。由于语篇的独立特性,这些句子层级的模型在语篇翻译的任务上的译文往往会缺乏连贯性和衔接性。因此本文的目标就是提出一个篇章级的改进框架,提升神经机器翻译模型在语篇翻译任务上的效果。本文的工作借鉴了当今前沿的神经机器翻译模型跨句研究,结合了两种研究思路的特点,提出了基于缓存模型的篇章级神经机器翻译改进模型。我们的模型以编码器-解码器框架为基础,将语篇作为一个整体来考虑,在每个句子翻译步骤之间使用一个缓存模型来记忆源端文本的历史编码器状态。除语篇首句翻译之外,我们都使用一个多头注意力网络和门控结构,将缓存中的历史编码器状态作为上下文信息引入当前步骤的解码器当中,以提升翻译效果。另外,改进模型中...

【文章页数】：75 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景和意义
    1.2 相关研究综述
        1.2.1 深度学习研究综述
        1.2.2 循环神经网络
        1.2.3 机器翻译技术的发展
        1.2.4 神经机器翻译中的跨句建模研究
    1.3 本文研究内容
    1.4 本文的组织结构
第二章 基于缓存模型的篇章级NMT改进模型
    2.1 整体思路
        2.1.1 目标问题
        2.1.2 改进工作
    2.2 篇章级NMT模型基本结构
    2.3 NMT模型中的上下文信息引入方法
    2.4 NMT模型中的篇章级数据构造与迭代方法
第三章 结合序列标注方法的跨句缓存模型
    3.1 整体思路
    3.2 缓存模型的结构与工作机制
    3.3 基于双向LSTM的篇章结构标注模型
        3.3.1 篇章结构标注语料准备
        3.3.2 序列标注网络和逻辑斯蒂回归模型的联合训练方法
第四章 实验结果与分析
    4.1 篇章结构标注模型实验与结果分析
        4.1.1 数据集说明
        4.1.2 实验详细设置
        4.1.3 实验结果与分析
    4.2 篇章级NMT模型实验与结果分析
        4.2.1 数据集说明
        4.2.2 实验详细设置
        4.2.3 实验结果与分析
        4.2.4 结果展示
第五章 总结与展望
    5.1 总结
    5.2 未来研究方向
参考文献
致谢



本文编号：3963732