公开(公告)号：CN112216271B

公开(公告)日：2022-10-14

申请号：CN202011080817.6

申请日：2020-10-11

Applicant: 哈尔滨工程大学

Inventor： 王兴梅 ,  赵一旭 ,  孙卫琦

IPC: G10L15/02 ,  G10L17/00 ,  G10L25/84 ,  G06N3/08 ,  G06N3/04 ,  G06V10/25 ,  G06V10/82

Abstract: 本发明提供一种基于卷积块注意机制的视听双模态语音识别方法，包括如下步骤：(1)对视听双模态信息数据集进行预处理；(2)提出构建CBAM‑AV‑LipNet模型；(3)完成基于卷积块注意机制的视听双模态语音识别任务，实现视听双模态语音识别任务。本发明利用提出构建的CBAM‑AV‑LipNet模型对测试集进行特征提取得到深层融合特征向量，对其进行CTC贪婪搜索解码，获得识别文本信息，完成视听双模态语音识别任务。本发明提出的基于卷积块注意机制的视听双模态语音识别方法较传统的语音识别方法和视觉语音识别模型LipNet具有良好的识别性能和收敛速度，同时具有一定的抗噪能力和有效性。

公开(公告)号：CN110490816B

公开(公告)日：2022-11-15

申请号：CN201910633686.0

申请日：2019-07-15

Applicant: 哈尔滨工程大学

Inventor： 王兴梅 ,  孙卫琦 ,  赵一旭 ,  刘安华 ,  孟稼祥

IPC: G06T5/00 ,  G10L21/0208

Abstract: 本发明提供一种水下异构信息数据降噪方法，通过模拟水下异构信息数据集；对异构信息数据进行预处理，对异构信息数据进行im2col方法采样，将采样结果进行归一化处理；提取模拟水下异构信息数据中的过完备稀疏特征和水下异构信息数据深层特征，构建SCSDA模型；完成SCSDA模型的水下异构信息数据降噪处理，将水下异构信息数据作为测试集，利用SCSDA模型对其进行降噪处理得到降噪结果向量；对降噪结果向量进行反归一化处理及col2im方法处理，得到降噪处理后的水下异构信息数据。本发明提出的基于堆叠式卷积稀疏降噪自编码器的水下异构信息数据降噪方法，处理速度较快，具有良好的盲去噪能力，并能较好地保留水下异构信息数据边缘特征，具有一定的鲁棒性和有效性。

公开(公告)号：CN110490816A

公开(公告)日：2019-11-22

申请号：CN201910633686.0

申请日：2019-07-15

Applicant: 哈尔滨工程大学

Inventor： 王兴梅 ,  孙卫琦 ,  赵一旭 ,  刘安华 ,  孟稼祥

IPC: G06T5/00 ,  G10L21/0208

Abstract: 本发明提供一种水下异构信息数据降噪方法，通过模拟水下异构信息数据集；对异构信息数据进行预处理，对异构信息数据进行im2col方法采样，将采样结果进行归一化处理；提取模拟水下异构信息数据中的过完备稀疏特征和水下异构信息数据深层特征，构建SCSDA模型；完成SCSDA模型的水下异构信息数据降噪处理，将水下异构信息数据作为测试集，利用SCSDA模型对其进行降噪处理得到降噪结果向量；对降噪结果向量进行反归一化处理及col2im方法处理，得到降噪处理后的水下异构信息数据。本发明提出的基于堆叠式卷积稀疏降噪自编码器的水下异构信息数据降噪方法，处理速度较快，具有良好的盲去噪能力，并能较好地保留水下异构信息数据边缘特征，具有一定的鲁棒性和有效性。

公开(公告)号：CN112216271A

公开(公告)日：2021-01-12

申请号：CN202011080817.6

申请日：2020-10-11

Applicant: 哈尔滨工程大学

Inventor： 王兴梅 ,  赵一旭 ,  孙卫琦

IPC: G10L15/02 ,  G10L17/00 ,  G10L25/84 ,  G06N3/08 ,  G06N3/04 ,  G06K9/32

Abstract: 本发明提供一种基于卷积块注意机制的视听双模态语音识别方法，包括如下步骤：(1)对视听双模态信息数据集进行预处理；(2)提出构建CBAM‑AV‑LipNet模型；(3)完成基于卷积块注意机制的视听双模态语音识别任务，实现视听双模态语音识别任务。本发明利用提出构建的CBAM‑AV‑LipNet模型对测试集进行特征提取得到深层融合特征向量，对其进行CTC贪婪搜索解码，获得识别文本信息，完成视听双模态语音识别任务。本发明提出的基于卷积块注意机制的视听双模态语音识别方法较传统的语音识别方法和视觉语音识别模型LipNet具有良好的识别性能和收敛速度，同时具有一定的抗噪能力和有效性。