-
公开(公告)号：CN119646453A
公开(公告)日：2025-03-18
申请号：CN202510149640.7
申请日：2025-02-11
Applicant: 浙江大学
Abstract: 本发明公开了一种基于循环脉冲神经网络的皮层峰电位信号运动解码方法及解码设备，解码方法包括：获得皮层峰电位序列信号；构建循环脉冲神经网络，所述的循环脉冲神经网络包括依次连接的输入层、隐藏层和输出层；所述的隐藏层包括：一个或多个串联的循环隐藏层，每个循环隐藏层包括：多个循环拓扑连接的标准泄漏积分放电神经元；训练循环脉冲神经网络；利用训练好的循环脉冲神经网络，对所需要的皮层峰电位序列信号进行运动解码。本发明通过引入活动正则化技术、采用迭代式突触剪枝策略、转换模型精度等手段降低解码设备功耗。本发明为全植入式脑机接口的实际应用提供了一种具有竞争力的解决方案。
-
公开(公告)号：CN117688372B
公开(公告)日：2024-11-29
申请号：CN202311672981.X
申请日：2023-12-07
Applicant: 浙江大学
IPC: G06F18/2135 , A61B5/372 , G06F18/214 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于卷积时序网络的脑电信号发声检测方法，包括：对原始脑电数据进行时频分析，作为神经特征；使用希尔伯特变换对音频数据进行包络分析，通过阈值分割进行标注，得到语音特征，对齐语音特征和神经特征；构建发声检测卷积时序网络，使用对齐后的神经特征作为输入数据，对齐后的语音特征作为真值标签构建数据集，对发声检测卷积时序网络进行训练；将待检测脑电信号经过时频分析输入到训练好的卷积时序发声检测器中，预测发音状态，进行脑电信号的发声检测。本发明取得了优于目前常用发声检测器的性能，同时本发明对检测器的检测性能做出解释，有效地改善了现有基于神经网络的发声检测方法的不可解释的问题。
-
公开(公告)号：CN119028348A
公开(公告)日：2024-11-26
申请号：CN202411114776.6
申请日：2024-08-14
Applicant: 浙江大学
IPC: G10L15/25 , G10L15/16 , G10L15/06 , G10L15/02 , G10L15/14 , G06V40/16 , G06N3/0455 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种基于面部动态捕捉的中文唇语识别方法，具体步骤为：使用深度相机采集面部连续像；对连续图像进行三维面部关键点估计，并计算面部动态特征；将面部动态特征输入到唇语识别模型中，得到拼音类别的概率分布；使用大语言模型根据拼音类别的概率分布进行文字序列预测，生成中文唇语识别结果。本发明创新性地引入了深度摄像头进行数据采集，提供了深度信息作为输入，有效增强了模型在低光照环境下的表现。同时，模型训练数据覆盖了更加多样化的生活场景，更贴合实际应用需求。因为直接利用面部动态数据，模型省掉了复杂的3D卷积预处理网络，使得模型能够快速高效处理数据。因此该技术具有广泛应用于智能手机/智能移动设备的潜力。
-
公开(公告)号：CN117392168A
公开(公告)日：2024-01-12
申请号：CN202311052111.2
申请日：2023-08-21
Applicant: 浙江大学
IPC: G06T7/194 , H04N19/436 , H04N19/44 , G06T5/50 , G06T5/60 , G06T5/70 , G06T1/20 , G06N3/045 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种利用单光子钙成像图像数据进行神经解码的方法，首先通过使用各向异性滤波及形态学开运算对单光子钙成像图像数据进行背景移除，接着，利用一种由三维卷积神经网络和多头自注意力机制复合构建的解码器，实现从钙成像图像数据中直接解码神经信号对应的行为信息。本发明省略了从图像数据中提取神经元集群活动的步骤，简化了基于钙成像的神经解码流程，本发明在运行耗时方面具有显著优势，可用于实时在线解码实验。此外，本发明充分利用了钙成像数据中的时间和空间信息，信息利用率远高于传统流程，为解码器提供了比传统方法更多更丰富的数据量，提高了解码的准确性。
-
Patent Agency Ranking
公开(公告)号：CN119025825A
公开(公告)日：2024-11-26
申请号：CN202411114777.0
申请日：2024-08-14
Applicant: 浙江大学
IPC: G06F18/10 , A61B5/11 , A61B5/00 , G06V40/16 , G06V10/20 , G06V20/40 , G06F18/213 , G06F18/2131 , G16H20/30
Abstract: 本发明公开了一种多模态面部动点数据与声带运动数据的数据处理方法及系统。该方法包括提供文本、采集正常人发声时的面部连续图像或视频与喉部振动数据、预处理数据、提取时间特征与空间特征、建立中文发声的面颈部运动模型，以及聋哑人依照模型进行模仿发声并获取反馈。该系统包括深度摄像头、喉部振动传感器和麦克风，通过综合利用多模态数据，为聋哑人提供即时反馈，降低学习门槛，提高交流效率，适用于全球范围内的聋哑人群体。该发明促进了语音发声训练，具有广泛的应用前景和社会意义。
-
公开(公告)号：CN118571237A
公开(公告)日：2024-08-30
申请号：CN202410351710.2
申请日：2024-03-26
Applicant: 浙江大学
IPC: G10L19/18 , G06F18/241 , G06F18/213 , G06F18/214 , G06N3/0464 , G06N3/0442 , G10L19/008 , G10L19/02 , G10L19/022 , G10L25/24 , G10L25/18 , G10L25/30
Abstract: 本发明基于语音脑机接口的解码研究，公开了一种语音脑机接口中连续解码指导下的离散解码方法。该方法使用了连续解码系统和离散解码系统共存的深度学习模型，先训练连续解码声学信息中的梅尔谱，基频，以及非周期性信号等信息，然后利用连续解码提取的特征，对离散解码进行指导性，迁移式的训练，最终也完成离散解码的训练(也就是分类任务)。这样的离散解码性能要远高于单纯的离散解码结果，同时已经训练的连续解码输出的基频等信号，可以作为后续基于离散解码结果的语音合成系统的调节输入，增强离散解码结果的语音合成的效果。
-
公开(公告)号：CN119646453B
公开(公告)日：2025-05-02
申请号：CN202510149640.7
申请日：2025-02-11
Applicant: 浙江大学
Abstract: 本发明公开了一种基于循环脉冲神经网络的皮层峰电位信号运动解码方法及解码设备，解码方法包括：获得皮层峰电位序列信号；构建循环脉冲神经网络，所述的循环脉冲神经网络包括依次连接的输入层、隐藏层和输出层；所述的隐藏层包括：一个或多个串联的循环隐藏层，每个循环隐藏层包括：多个循环拓扑连接的标准泄漏积分放电神经元；训练循环脉冲神经网络；利用训练好的循环脉冲神经网络，对所需要的皮层峰电位序列信号进行运动解码。本发明通过引入活动正则化技术、采用迭代式突触剪枝策略、转换模型精度等手段降低解码设备功耗。本发明为全植入式脑机接口的实际应用提供了一种具有竞争力的解决方案。
-
公开(公告)号：CN117392168B
公开(公告)日：2024-06-04
申请号：CN202311052111.2
申请日：2023-08-21
Applicant: 浙江大学
IPC: G06T7/194 , H04N19/436 , H04N19/44 , G06T5/50 , G06T5/60 , G06T5/70 , G06T1/20 , G06N3/045 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种利用单光子钙成像图像数据进行神经解码的方法，首先通过使用各向异性滤波及形态学开运算对单光子钙成像图像数据进行背景移除，接着，利用一种由三维卷积神经网络和多头自注意力机制复合构建的解码器，实现从钙成像图像数据中直接解码神经信号对应的行为信息。本发明省略了从图像数据中提取神经元集群活动的步骤，简化了基于钙成像的神经解码流程，本发明在运行耗时方面具有显著优势，可用于实时在线解码实验。此外，本发明充分利用了钙成像数据中的时间和空间信息，信息利用率远高于传统流程，为解码器提供了比传统方法更多更丰富的数据量，提高了解码的准确性。
-
公开(公告)号：CN117688372A
公开(公告)日：2024-03-12
申请号：CN202311672981.X
申请日：2023-12-07
Applicant: 浙江大学
IPC: G06F18/2135 , A61B5/372 , G06F18/214 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于卷积时序网络的脑电信号发声检测方法，包括：对原始脑电数据进行时频分析，作为神经特征；使用希尔伯特变换对音频数据进行包络分析，通过阈值分割进行标注，得到语音特征，对齐语音特征和神经特征；构建发声检测卷积时序网络，使用对齐后的神经特征作为输入数据，对齐后的语音特征作为真值标签构建数据集，对发声检测卷积时序网络进行训练；将待检测脑电信号经过时频分析输入到训练好的卷积时序发声检测器中，预测发音状态，进行脑电信号的发声检测。本发明取得了优于目前常用发声检测器的性能，同时本发明对检测器的检测性能做出解释，有效地改善了现有基于神经网络的发声检测方法的不可解释的问题。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.018 seconds)
