基于音韵表征的语音情感识别改进研究

发布时间：2023-03-05 04:53

　　语音是人机交互最自然、最便捷的方式之一,蕴含着说话人的情感状态。语音情感识别是实现更加自然、更加智能的人机交互的关键技术之一。提高语音情感识别率主要依赖于两个因素:分类器和特征的选择。关于特征选择,目前为止,大多数研究只使用超大规模声学特征集进行分类,然而,这些特征集并不能反映情感与韵律之间的关系,如语调、节奏、重音等等,也不能揭示特定情感的韵律表达模式。该研究的目的:(1)利用音韵表征并使用深度学习的方法提高语音情感识别率;(2)分析与情感关系密切的音韵表征,探索韵律和特定情感之间的关系,得到特定情感的韵律表达模式。该研究实验分两部分:(1)基于IEMOCAP数据库,利用音韵表征并使用深度学习算法,分别进行基于整句和基于聚类单词的语音情感识别,提高语音情感识别率;(2)使用逻辑斯蒂回归和皮尔逊相关系数探索音韵表征、声学特征与特定情感的关系,寻找具有区分性的特征。实验结果表明:(1)在基于整句话的语音情感识别实验中,将声学特征和音韵表征结合起来,基于卷积神经网络的分类器在四分类离散情感分类任务上识别率最高,UAR(unweighted average recall)为60.02%,超过...

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 引言
    1.1 研究背景与意义
        1.1.1 语音情感识别是实现人机交互的一个关键技术
        1.1.2 语音情感识别技术在教育中的应用
        1.1.3 韵律对语音情感识别的影响
    1.2 研究问题的提出
        1.2.1 已有研究存在的问题
        1.2.2 研究目的
        1.2.3 研究问题
        1.2.4 研究方法
        1.2.5 研究意义
    1.3 该研究的创新之处
    1.4 本文的章节结构
第2章 文献综述
    2.1 概念界定
        2.1.1 情感的定义
        2.1.2 音韵表征的定义
    2.2 研究现状分析
        2.2.1 情感描述模型
        2.2.2 语音情感数据库
        2.2.3 语音情感声学特征
        2.2.4 语音情感音韵表征
        2.2.5 语音情感分类算法
第3章 语音情感特征提取与分析
    3.1 IEMOCAP英语情感数据集
    3.2 数据预处理
        3.2.1 预加重
        3.2.2 加窗分帧
        3.2.3 端点检测
    3.3 特征提取
        3.3.1 声学特征
        3.3.2 音韵表征
        3.3.2 特征向量预处理
    3.4 语音情感特征分析
        3.4.1 分析工具:逻辑斯蒂回归模型和皮尔逊相关系数
        3.4.2 实验方法和过程
        3.4.3 声学特征和音韵表征分析结果
第4章 基于音韵表征的语音情感识别改进实验——以整句为单位
    4.1 已有方法和不足
    4.2 该实验提出的方法
        4.2.1 声学特征与音韵表征的融合
        4.2.2 卷积神经网络
    4.3 实验目的
    4.4 实验过程
        4.4.1 训练框架和评价指标
        4.4.2 基线系统
        4.4.3 超参数设置
    4.5 实验结果和讨论
第5章 基于音韵表征的语音情感识别改进实验——以单词为单位
    5.1 已有方法和不足
    5.2 该实验提出的方法
        5.2.1 基于单词聚类和词嵌入的单词向量
        5.2.2 循环神经网络
    5.3 实验目的
    5.4 实验过程
        5.4.1 训练框架和评价指标
        5.4.2 基线系统
        5.4.3 超参数设置
    5.5 实验结果和讨论
第6章 总结与展望
    6.1 讨论与总结
    6.2 不足与展望
参考文献
致谢
在读期间发表的学术论文及研究成果



本文编号：3755744