-
公开(公告)号:CN119314489A
公开(公告)日:2025-01-14
申请号:CN202411427306.5
申请日:2024-10-12
Applicant: 哈尔滨工业大学
Abstract: 本发明提出了一种低计算资源多级架构流式语音识别方法,联合优化的RNN‑T流式语音识别架构和CTC流式语音识别架构,提出多级混合流式语音识别架构,复用RNN‑T架构下编码器不同层级作为CTC语音识别编码器,整体降低了流式语音识别模型复杂度,提高模型在端侧推理的资源占用灵活性,该架构支持在边缘设备推理时刻针对于设备CPU状态自适应选取模型不同复杂度模块进行流式推理,保证了极端低计算资源下条件下语音识别模型的识别功能,在端侧设备突发性的计算资源紧张环境仍能够完成语音识别功能,保障语音识别系统安全性以及端侧设备系统稳定性。
-
公开(公告)号:CN117153153A
公开(公告)日:2023-12-01
申请号:CN202311297960.4
申请日:2023-10-09
Applicant: 哈尔滨工业大学
IPC: G10L15/16 , G10L15/06 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于卷积神经网络与注意力机制的轻量级嵌入式设备语音增强方法,包括:收集听力对象的听感良好样本作为纯净语音样本,提取纯净语音样本的幅度特征与带噪语音样本的幅度特征进行模型训练。具体包括,在解码过程中,对输入语音样本高维特征的不同通道分配不同权重;提取待增强带噪语音特征,获得带噪语音幅度特征与带噪语音相位特征,将带噪语音幅度特征输入训练模型中,获得增强语音幅度特征;将增强语音幅度特征与带噪语音相位特征进行数据重构,获得增强语音。采用本发明,减少了信息冗余并有效去除噪声,可解决现有嵌入式设备语音增强,计算成本高、个性化不足、推理效率低、处理效果差的问题。
-
公开(公告)号:CN116939430A
公开(公告)日:2023-10-24
申请号:CN202310467811.1
申请日:2023-04-27
Applicant: 苏州奇梦者科技有限公司 , 哈尔滨工业大学
Abstract: 本发明公开了一种可区域增强的声学参量阵,包括以下构件组成:阵列总成、动力与支撑机构总成。阵列总成是其核心构件,包括阵列中心单元总成和围绕在中心单元旁边的至少两个超声发射器子阵列总成。本发明与现有技术相比,能实现将声阵列中所有超声发射器产生的声场在指定方向、指定距离的区域内汇聚增强的功能。从而既能在目标区域产生较高强度的声场,又能减小目标区域外的声音强度,更好地实现向指定区域播放声音的功能,在使用声阵列的过程中,可以手工或借由控制部件灵活地调整声音的播放区域。其结构简单,容易制造,成本低。
-
公开(公告)号:CN116884383A
公开(公告)日:2023-10-13
申请号:CN202310467813.0
申请日:2023-04-27
Applicant: 苏州奇梦者科技有限公司 , 哈尔滨工业大学
Abstract: 本发明提供了一种可区域增强声学参量阵的聚声信号调制方法,以调制产生具有强指向性、只在目标区域聚能聚声的信号。包括以下步骤:计算整个平面全部超声发射器的物理能量交汇区域及其联动关系、计算每个超声发射器组至能量交汇区域的直线距离、计算各个超声收发器组的时域和相位关系、对输入的音频信号进行预处理与信号调制并输出。本发明的各个超声发射器组激发的载频信号,在能量交汇区域处实现同相位信号的叠加、解调,最终实现定点区域解调。
-
公开(公告)号:CN113704552A
公开(公告)日:2021-11-26
申请号:CN202111012714.0
申请日:2021-08-31
Applicant: 哈尔滨工业大学
IPC: G06F16/783 , G06F40/30 , G06K9/62
Abstract: 一种基于跨模态自动对齐和预训练语言模型的情感分析方法、系统及设备,它属于机器的多模态感知技术领域。本发明解决了现有情感分析技术需要人工对各模态序列进行对齐标注的问题。本发明对现有大规模预训练语言模型的多模态情感分析方法进行改进,使本发明方法不需要人工的对齐标注,因而适合目前大规模数据量、未对齐的多模态序列场景的情形,极大地提高了其实用性。而且,将本发明提出的方法在公开的最常使用的多模态情感分析的2个数据集上进行验证,结果表明其分类性能较基线系统有很大提高。本发明可以应用于情感分析。
-
公开(公告)号:CN113380232A
公开(公告)日:2021-09-10
申请号:CN202110661855.9
申请日:2021-06-15
Applicant: 哈尔滨工业大学
Abstract: 基于约束的结构化稀疏注意力机制的端到端语音识别方法及存储介质,属于语音识别技术领域。本发明是为了解决现有的基于Softmax注意力机制的语音识别方法解码过程中存在大量预测无关信息而导致严重干扰解码器识别过程的问题。本发明首先首先对原始信号分别进行采样、量化、帧级特征提取、高层声学表示提取、匹配分计算;然后,通过匹配分排序、匹配分阈值计算、注意力得分归一化、瞥向量生成,来获得其每一解码时刻的瞥向量;最后,利用解码器进行识别,并用以训练识别器,得到语音识别模型。本发明通过产生均匀、连续且稀疏的注意力得分向量,以降低瞥向量中预测无关信息占比,进而达到提升识别性能的目的。本发明主要用于语音的识别。
-
公开(公告)号:CN110136741B
公开(公告)日:2021-07-13
申请号:CN201910411692.1
申请日:2019-05-16
Applicant: 哈尔滨工业大学
IPC: G10L21/0264 , G10L25/30
Abstract: 一种基于多尺度上下文的单通道语音增强方法,本发明涉及单通道语音增强方法。本发明是为了解决现有单通道语音增强中,带噪相位与增强频谱不匹配、语音特征和语音增强任务不匹配、以及未有效考虑语音中多尺度上下文信息的问题。过程为:步骤一、对语音进行标准化;步骤二、计算全卷积网络第一层语音特征;步骤三、计算全卷积网络第l层语音特征,l取整数;步骤四、综合多层语音特征,构成多尺度语音特征;步骤五、根据多尺度语音特征,预测纯净语音波形。本发明用于语音增强领域。
-
公开(公告)号:CN110148417B
公开(公告)日:2021-03-23
申请号:CN201910439064.4
申请日:2019-05-24
Applicant: 哈尔滨工业大学
Abstract: 基于总变化空间与分类器联合优化的说话人身份识别方法,它属于说话人识别技术领域。本发明解决了目前的总变化空间估计方法对说话人身份识别的等错误率高的问题。本发明首先求得训练集均值超矢量在初始总变化空间上的表示;然后对该表示进行长度规整,并输入分类器PLDA;接着在分类器PLDA的监督下,更新分类器的参数与总变化空间的参数,重复上述步骤,直至达到设置的最大迭代次数,获得最终的分类器参数与总变化空间参数;测试时,利用测试语音的均值超矢量和目标说话人的均值超矢量,计算其在总变化空间上的表示,然后对该表示进行长度规整,并计算其在分类器上的联合概率密度作为最终分类的依据。本发明可以应用于说话人识别技术领域。
-
公开(公告)号:CN110164418A
公开(公告)日:2019-08-23
申请号:CN201910621276.4
申请日:2019-07-10
Applicant: 哈尔滨工业大学
Abstract: 基于卷积网格长短时记忆递归神经网络的自动语音识别加速方法,属于语音信号处理技术领域。本发明是为了解决目前的加速方法大多是在牺牲识别性能的条件下进行加速导致其不能满足实际任务的需要问题。本发明的方法针对频谱或者频谱的多通道频谱子带进行时频块切分,然后进行局部特征提取,将卷积神经网络与Grid-LSTM相结合,弥补了Grid-LSTM在大频域步长情况下的精度损失。主要用于自动语音识别。
-
公开(公告)号:CN110148428A
公开(公告)日:2019-08-20
申请号:CN201910447562.3
申请日:2019-05-27
Applicant: 哈尔滨工业大学
Abstract: 一种基于子空间表示学习的声学事件识别方法,涉及声音信号处理技术领域,为解决现有技术在AER任务中,语义特征提取时不能兼顾原始信号本质内容和时序结构的问题,包括:步骤1、信号预处理,步骤2、帧级特征提取,步骤3、子声学事件特征提取,步骤4、子声学事件特征的时序扩展,步骤5、子声学事件特征间的整体语义特征提取,步骤6、声学事件的识别,本发明提取语义特征时,能够兼顾原始信号的整体内容信息和全局时序结构。
-
-
-
-
-
-
-
-
-