-
公开(公告)号:CN116269447B
公开(公告)日:2023-08-29
申请号:CN202310552371.X
申请日:2023-05-17
Applicant: 之江实验室
Abstract: 本发明公开了一种基于语音调制和脑电信号的言语认知评估系统,包括:语音序列生成模块,选择结构化语音材料并将其合成为语音序列,对语音序列进行调制得到若干种调制语音序列;结构化语音材料中的词汇按预设的频率呈现,每一种调制语音序列间的词汇节奏相位相同、声学节奏相位不同;脑电信号采集模块,使用音频输入设备向被测试者呈现所有调制语音序列,使用脑电记录设备同步采集被测试者的脑电信号;脑电信号分析模块,对脑电信号进行处理得到脑电响应频谱,分别提取所有调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位;言语认知评估结果获取模块,计算不同种调制语音序列对应的脑电响应相位之差,判定言语认知评估结果。
-
公开(公告)号:CN116206755A
公开(公告)日:2023-06-02
申请号:CN202310501896.0
申请日:2023-05-06
Applicant: 之江实验室
IPC: G16H50/20 , G06F18/241 , G06F18/214 , G06N3/084 , G16H10/60 , G06N5/02
Abstract: 本发明公开了一种基于神经主题模型的疾病检测与知识发现装置,由预处理模块对数据进行预处理,将每个入院记录重建为半结构化文本数据集,并作为训练数据;然后将训练数据输入患者画像分析模块,优化参数,得到患者典型画像信息及可以提取患者画像分布表征的模型;再将患者画像分布表征作为训练数据训练分类模块,得到辅助诊断模型。本发明可基于患者入院记录文本提取可解释文本表征并完成高性能分类,同时完成辅助诊断任务与辅助知识发现任务,利用目前难以被充分使用的医疗文本信息辅助完成临床决策支持任务。
-
公开(公告)号:CN116206755B
公开(公告)日:2023-08-22
申请号:CN202310501896.0
申请日:2023-05-06
Applicant: 之江实验室
IPC: G16H50/20 , G06F18/241 , G06F18/214 , G06N3/084 , G16H10/60 , G06N5/02
Abstract: 本发明公开了一种基于神经主题模型的疾病检测与知识发现装置,由预处理模块对数据进行预处理,将每个入院记录重建为半结构化文本数据集,并作为训练数据;然后将训练数据输入患者画像分析模块,优化参数,得到患者典型画像信息及可以提取患者画像分布表征的模型;再将患者画像分布表征作为训练数据训练分类模块,得到辅助诊断模型。本发明可基于患者入院记录文本提取可解释文本表征并完成高性能分类,同时完成辅助诊断任务与辅助知识发现任务,利用目前难以被充分使用的医疗文本信息辅助完成临床决策支持任务。
-
公开(公告)号:CN119226500A
公开(公告)日:2024-12-31
申请号:CN202411247254.3
申请日:2024-09-06
Applicant: 之江实验室
IPC: G06F16/338 , G06F16/33 , G06F16/332 , G06F40/30
Abstract: 本发明公开了一种基于大语言模型知识增强的专业领域数据库检索方法、电子设备、介质,包括:获取目标领域数据库中每一类型数据对应的关键词及其描述,并与数据链接、内容匹配,得到SQL表格;定义第一语料模板,以此串联关键词及其描述,得到数据提示文本;定义第二语料模板,以此串联查询文本,得到查询提示文本;将数据、查询提示文本分别输入至大语言模型,分别生成响应、检索文本;将查询、检索以及响应文本分别输入自然语言处理模型,生成查询、检索以及响应文本特征;对查询、检索文本特征进行加权融合,得到融合文本特征;计算其与响应文本特征之间的相似度,将相似度最高的前K个响应文本特征对应的数据从SQL表格中导出,作为检索结果。
-
公开(公告)号:CN116421187A
公开(公告)日:2023-07-14
申请号:CN202310328673.9
申请日:2023-03-30
Applicant: 之江实验室
Abstract: 本发明公开了一种基于言语层级序列的注意力缺陷多动障碍的分析系统,包括:语音序列生成模块,用于构建具有音节和词汇两层级的语音序列;脑电信号采集模块,使用音频输入设备向被测试者呈现语音序列,并使用脑电记录设备同步采集被测试者的脑电信号;脑电信号分析模块,对脑电信号进行处理得到脑电响应频谱,基于脑电响应频谱计算不同频率处脑电响应的试次间相位一致性,通过音节、词汇频率处的脑电响应相位一致性峰值判断被测试者是否存在注意力缺陷多动障碍。本发明系统具备便捷、高效的特性,通过脑电信号为注意力缺陷多动障碍的诊断与干预提供了良好的辅助作用,具有广泛的适用场景与适用人群。
-
公开(公告)号:CN116269447A
公开(公告)日:2023-06-23
申请号:CN202310552371.X
申请日:2023-05-17
Applicant: 之江实验室
Abstract: 本发明公开了一种基于语音调制和脑电信号的言语认知评估系统,包括:语音序列生成模块,选择结构化语音材料并将其合成为语音序列,对语音序列进行调制得到若干种调制语音序列;结构化语音材料中的词汇按预设的频率呈现,每一种调制语音序列间的词汇节奏相位相同、声学节奏相位不同;脑电信号采集模块,使用音频输入设备向被测试者呈现所有调制语音序列,使用脑电记录设备同步采集被测试者的脑电信号;脑电信号分析模块,对脑电信号进行处理得到脑电响应频谱,分别提取所有调制语音序列对应的脑电响应频谱在词汇频率处的脑电响应相位;言语认知评估结果获取模块,计算不同种调制语音序列对应的脑电响应相位之差,判定言语认知评估结果。
-
公开(公告)号:CN118155624B
公开(公告)日:2025-03-28
申请号:CN202410431630.8
申请日:2024-04-11
Applicant: 之江实验室
Abstract: 本发明公开了一种基于视觉场景的多模态语音识别方法、电子设备、介质,包括:获取语音音频以及语音音频所处环境对应的场景视频;将其输入至预先训练好的视听特征编码模型进行特征提取,分别得到声学特征、视觉特征,经拼接与融合,得到视听融合特征;其中,视听特征编码模型的训练过程包括:获取初始声学特征、初始视觉特征,经拼接、融合后得到视听融合特征;对每段时间窗口内的视听融合特征进行聚类,得到聚类标签;随机选择部分时间窗口的视听融合特征进行掩蔽;利用未掩蔽时间窗口的视听融合特征对掩蔽时间窗口的聚类标签进行预测,完成训练过程;将视听融合特征输入至微调后的语音识别解码模型转换为语音文本,得到语音识别结果。
-
公开(公告)号:CN118155624A
公开(公告)日:2024-06-07
申请号:CN202410431630.8
申请日:2024-04-11
Applicant: 之江实验室
Abstract: 本发明公开了一种基于视觉场景的多模态语音识别方法、电子设备、介质,包括:获取语音音频以及语音音频所处环境对应的场景视频;将其输入至预先训练好的视听特征编码模型进行特征提取,分别得到声学特征、视觉特征,经拼接与融合,得到视听融合特征;其中,视听特征编码模型的训练过程包括:获取初始声学特征、初始视觉特征,经拼接、融合后得到视听融合特征;对每段时间窗口内的视听融合特征进行聚类,得到聚类标签;随机选择部分时间窗口的视听融合特征进行掩蔽;利用未掩蔽时间窗口的视听融合特征对掩蔽时间窗口的聚类标签进行预测,完成训练过程;将视听融合特征输入至微调后的语音识别解码模型转换为语音文本,得到语音识别结果。
-
公开(公告)号:CN116421187B
公开(公告)日:2023-10-13
申请号:CN202310328673.9
申请日:2023-03-30
Applicant: 之江实验室
Abstract: 本发明公开了一种基于言语层级序列的注意力缺陷多动障碍的分析系统,包括:语音序列生成模块,用于构建具有音节和词汇两层级的语音序列;脑电信号采集模块,使用音频输入设备向被测试者呈现语音序列,并使用脑电记录设备同步采集被测试者的脑电信号;脑电信号分析模块,对脑电信号进行处理得到脑电响应频谱,基于脑电响应频谱计算不同频率处脑电响应的试次间相位一致性,通过音节、词汇频率处的脑电响应相位一致性峰值判断被测试者是否存在注意力缺陷多动障碍。本发明系统具备便捷、高效的特性,通过脑电信号为注意力缺陷多动障碍的诊断与干预提供了良好的辅助作用,具有广泛的适用场景与适用人群。
-
-
-
-
-
-
-
-