-
公开(公告)号:CN118314583B
公开(公告)日:2025-01-21
申请号:CN202410337361.9
申请日:2024-03-23
Applicant: 华南理工大学
IPC: G06V30/19 , G06V30/244 , G06V30/18 , G06V10/82
Abstract: 本发明公开了一种语义增强的零样本甲骨文字符识别方法,包括:根据域和字符类别为甲骨文图像构造可学习的提示信息;引入对比式语言‑图像预训练模型,并通过平衡采样策略采样数据,对可学习的提示信息进行优化,以实现从甲骨文拓片和字模图像中挖掘出语义信息;去除域提示信息来得到域无关的提示信息,进而通过语义编码器编码得到域无关的字符语义;通过类内共享特征学习分支和类间差异特征学习分支对视觉编码器进行监督训练;采用训练好的视觉编码器,实现零样本甲骨文字符识别。
-
公开(公告)号:CN111126280B
公开(公告)日:2023-03-21
申请号:CN201911352287.3
申请日:2019-12-25
Applicant: 华南理工大学
IPC: G06V40/10 , G06V10/762 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08 , G06F3/01 , G16H20/30 , A61M21/00
Abstract: 本发明提供一种基于融合手势识别的失语症患者辅助康复训练系统,包括:嵌入式计算平台:包括物体检测和手势识别单元、康复训练与用户交互单元和训练结果评估单元;场景摄像头;用户监控摄像头;显示屏:用于显示前端交互界面并与使用者进行交互;语音模块:用于合成并播放训练指令语音;外部电源:用于整套训练系统的供电;所述嵌入式计算平台分别与场景摄像头、用户监控摄像头、语音模块、显示器和外部电源连接。本发明还提供一种基于融合手势识别的失语症患者辅助康复训练方法,该训练系统及方法具有良好的贴近患者现实生活的能力和部署的方便性,极大地满足了日益增长的失语症康复训练需求,提高了失语症患者人群的康复训练效果。
-
公开(公告)号:CN119943435A
公开(公告)日:2025-05-06
申请号:CN202510003480.5
申请日:2025-01-02
Applicant: 华南理工大学
IPC: G16H70/00 , G06F40/30 , G06F16/334 , G06N3/0455 , G06N3/048 , G06N3/08 , G06F16/35
Abstract: 本发明公开了一种中医情境信息精准结构化表示及语义比对方法,包括构建情境维度语义丰富网络;将中医情境文本经思维链结构化模块提取关键维度信息并转化为结构化情境文本,然后经情境信息编码模块提取多层次维度特征,接着依次通过层内上下文信息丰富模块和层间信息交汇模块捕获层内上下文信息和层间多维度信息获得语义丰富的情境语义特征;训练所述情境维度语义丰富网络并进行情境语义比对;本发明结合思维链提示调优方法挖掘通用中文大语言模型的中医语义理解能力,准确地对中医情境信息进行提取,同时融合多层次的中医情境维度信息获得语义丰富的情境语义特征,提升中医情境语义比对的准确性,为中医临床医生提供有价值的参考情境。
-
公开(公告)号:CN119397047A
公开(公告)日:2025-02-07
申请号:CN202411521888.3
申请日:2024-10-29
Applicant: 华南理工大学
IPC: G06F16/55 , G06F16/532 , G06F16/583 , G06V10/764 , G06V10/77 , G06V10/40 , G06V10/774 , G06V10/82 , G06N3/048 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于难负样本表征合成的图像检索方法,包括以下步骤:构建能够合成信息丰富的难负样本表征生成网络;以类别均衡采样策略构建的批量图像作为网络输入,经图像表征提取模块提取出批量图像表征,然后将批量图像表征输入到样本间全局关联学习模块中学习,将互为负类的样本对输入到关联感知的通道多样性插值模块中合成难负样本表征;训练所述的能够合成信息丰富的难负样本表征生成网络,利用合成的难负样本表征和真实样本表征共同训练图像表征提取模块;使用训练好的图像表征提取模块进行图像检索;通过结合样本间全局关联学习能力,合成更具信息量的难负样本表征,引导图像表征提取模块提取更具判别性的图像表征以增强检索性能。
-
公开(公告)号:CN110728308B
公开(公告)日:2024-04-05
申请号:CN201910909431.2
申请日:2019-09-25
Applicant: 华南理工大学
IPC: G06F18/2411 , G10L13/04 , G10L15/22 , G10L15/26
Abstract: 本发明属于计算机视觉与语音识别技术领域,涉及一种基于改进Yolov2目标检测和语音识别的交互式导盲系统及方法。交互式导盲系统包括中央处理器及与其相连的深度相机、高端语音合成装置、麦克风和电源,其中:中央处理器:用于系统控制、数据处理和信号传递,其上部署有交互式导盲系统的控制软件,包括:目标检测单元、语音识别单元和道路规划单元;深度相机:用于对当前场景进行图像采集,生成RGB图像与深度图;高端语音合成装置:用于对所述中央处理器输出的语音信息进行合成,播放寻物结果或道路规划情况;麦克风:用于采集用户语音信息,并传送给中央处理器;电源:用于给所述中央处理器供电。本发明能辅助盲人更好地生活,提高盲人的生活质量。
-
公开(公告)号:CN110728308A
公开(公告)日:2020-01-24
申请号:CN201910909431.2
申请日:2019-09-25
Applicant: 华南理工大学
Abstract: 本发明属于计算机视觉与语音识别技术领域,涉及一种基于改进Yolov2目标检测和语音识别的交互式导盲系统及方法。交互式导盲系统包括中央处理器及与其相连的深度相机、高端语音合成装置、麦克风和电源,其中:中央处理器:用于系统控制、数据处理和信号传递,其上部署有交互式导盲系统的控制软件,包括:目标检测单元、语音识别单元和道路规划单元;深度相机:用于对当前场景进行图像采集,生成RGB图像与深度图;高端语音合成装置:用于对所述中央处理器输出的语音信息进行合成,播放寻物结果或道路规划情况;麦克风:用于采集用户语音信息,并传送给中央处理器;电源:用于给所述中央处理器供电。本发明能辅助盲人更好地生活,提高盲人的生活质量。
-
公开(公告)号:CN117216245A
公开(公告)日:2023-12-12
申请号:CN202311482529.7
申请日:2023-11-09
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于深度学习的表格摘要生成方法,包括以下步骤:步骤1,将表格的参考摘要进行切分,通过匹配算法得到表格对应的内容行;步骤2,将表格对应的内容行进行两两配对,得到独立内容行与合并内容行;步骤3,获取所述独立内容行与所述合并内容行分别对应的文本摘要;步骤4,将所述分别对应的文本摘要融合在一起,形成整个表格的文本摘要作为最终模型的输出;通过对表格进行跨行合并和将内容行逐行生成摘要的方式,解决了表格存在跨行较多以及单元格数目较多时效果不佳的问题,从而提高了表格生成摘要的鲁棒性和准确性。
-
公开(公告)号:CN115620322B
公开(公告)日:2023-04-07
申请号:CN202211637591.4
申请日:2022-12-20
Applicant: 华南理工大学
IPC: G06V30/412 , G06F40/151 , G06T7/66 , G06T7/70 , G06V10/28 , G06V10/32 , G06V10/34 , G06V10/44 , G06V10/764
Abstract: 本发明公开了一种基于关键点检测的全线表表格结构识别方法,包括:采用关键点检测网络对表格图像中的关键点进行检测,得到包含所有关键点位置信息的高斯热图;将高斯热图放缩至和输入表格图像尺寸一致,并通过轮廓中心距算法得到所有关键点的坐标位置;使用扫描线法解析关键点在表格中的结构位置关系;使用连通域法检测相邻的关键点是否存在连接关系;根据关键点之间的结构位置关系和连接关系重构出表格中所有的单元格,并转换为需要的标记语言描述。本发明方法采用基于深度学习的关键点检测方法能够鲁棒地找到表格图像中的所有表格线交点,并根据这些关键点获取所有单元格的准确位置,从而高质量完成表格结构识别。
-
公开(公告)号:CN115620322A
公开(公告)日:2023-01-17
申请号:CN202211637591.4
申请日:2022-12-20
Applicant: 华南理工大学
IPC: G06V30/412 , G06F40/151 , G06T7/66 , G06T7/70 , G06V10/28 , G06V10/32 , G06V10/34 , G06V10/44 , G06V10/764
Abstract: 本发明公开了一种基于关键点检测的全线表表格结构识别方法,包括:采用关键点检测网络对表格图像中的关键点进行检测,得到包含所有关键点位置信息的高斯热图;将高斯热图放缩至和输入表格图像尺寸一致,并通过轮廓中心距算法得到所有关键点的坐标位置;使用扫描线法解析关键点在表格中的结构位置关系;使用连通域法检测相邻的关键点是否存在连接关系;根据关键点之间的结构位置关系和连接关系重构出表格中所有的单元格,并转换为需要的标记语言描述。本发明方法采用基于深度学习的关键点检测方法能够鲁棒地找到表格图像中的所有表格线交点,并根据这些关键点获取所有单元格的准确位置,从而高质量完成表格结构识别。
-
公开(公告)号:CN111126280A
公开(公告)日:2020-05-08
申请号:CN201911352287.3
申请日:2019-12-25
Applicant: 华南理工大学
Abstract: 本发明提供一种基于融合手势识别的失语症患者辅助康复训练系统,包括:嵌入式计算平台:包括物体检测和手势识别单元、康复训练与用户交互单元和训练结果评估单元;场景摄像头;用户监控摄像头;显示屏:用于显示前端交互界面并与使用者进行交互;语音模块:用于合成并播放训练指令语音;外部电源:用于整套训练系统的供电;所述嵌入式计算平台分别与场景摄像头、用户监控摄像头、语音模块、显示器和外部电源连接。本发明还提供一种基于融合手势识别的失语症患者辅助康复训练方法,该训练系统及方法具有良好的贴近患者现实生活的能力和部署的方便性,极大地满足了日益增长的失语症康复训练需求,提高了失语症患者人群的康复训练效果。
-
-
-
-
-
-
-
-
-