-
公开(公告)号:CN119851852A
公开(公告)日:2025-04-18
申请号:CN202510318397.7
申请日:2025-03-18
Applicant: 华侨大学
IPC: G16H15/00 , G16H30/40 , G16H50/70 , G06N5/022 , G16H50/20 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多粒度知识融合的影像报告生成方法、系统及设备,方法包括:影像报告预生成单元,用于接收医学影像作为输入,并通过影像报告生成模型对医学影像进行处理以获取初始影像报告文本;知识检索单元,用于基于初始影像报告文本从公开医学知识库、本地自建医学知识库及实时数据源中检索相关医学实体及其定义知识,得到多源医学知识;知识融合单元,用于对所述多源医学知识进行融合,以获取融合知识文本;最终报告生成单元,用于结合医学影像、初始影像报告文本及融合知识文本,通过影像报告生成模型进行影像报告的再生成,获得最终影像报告。本发明能够显著减少诊断错误,提高医生的工作效率,同时为患者提供更易理解的报告。
-
公开(公告)号:CN114170623B
公开(公告)日:2024-07-02
申请号:CN202111344563.9
申请日:2021-11-15
Applicant: 华侨大学
IPC: G06V40/10 , G06N3/09 , G06N3/0464 , G06V10/25 , G06V10/82
Abstract: 本发明提供了一种人物交互检测设备及其方法、装置、可读存储介质,包括:获取待检测的目标图像;根据所述目标图像生成输入参数集;输入参数集包括人体候选框集、物体候选框集、目标图像的全局特征和根据人体候选框集和物体候选框集生成HOI提议数据;调用训练好的基于多流架构的HOI检测模型;基于多流架构的HOI检测模型由多个不同流HOI检测模型并联形成;根据输入参数集获取各个流HOI检测模型的输入集,并将输入集输入至对应HOI检测模型,以获得每个HOI检测模型的输出;根据每个HOI检测模型输出计算得到最终交互预测分数,以输出采集到的目标图像中人物交互行为判断结果。旨在解决现有技术中HOI检测方法判断人物交互效果不佳,外观特征性能较差的问题。
-
公开(公告)号:CN113642619B
公开(公告)日:2023-12-26
申请号:CN202110861484.9
申请日:2021-07-29
Applicant: 华侨大学
IPC: G06V10/774 , G06V10/22 , G06V20/62 , G06V10/764
Abstract: 本发明提供了一种文字识别模型的训练方法、装置、设备及可读存储介质,包括:调用合成数据集对初始学习模型进行训练,以获得中间模型;调用真实数据集对所述中间模型进行训练,以获得文字识别模型,其中,所述文字识别模型用于接收图像采集装置采集到的图像,并根据所述图像生成文字对象的识别信息及其对应的位置信息。解决了现有技术无法识别不规则分布或者弯曲的文字。
-
公开(公告)号:CN117235667A
公开(公告)日:2023-12-15
申请号:CN202311237025.9
申请日:2023-09-25
Applicant: 华侨大学
IPC: G06F18/25 , G06V40/16 , G06V10/44 , G06N3/0464 , G06N3/044 , G06N3/08 , G10L25/57 , G10L25/30 , G10L25/87
Abstract: 本发明提供了一种交互式人脸语音标注方法、装置、设备及存储介质,先接收人脸图像,并采用卷积神经网络对所述人脸图像进行特征提取,以生成人脸特征;接着获取语音信号,并采用循环神经网络及全连接层作对所述语音信号进行特征提取,以生成语音特征;再接着根据所述人脸图像和所述语音信号的身份标签信息,调用训练数据批次中的数据近似作为身份原型特征对所述语音特征和所述人脸特征执行对齐操作;最后基于所述对齐操作所述人脸图像和所述语音信号进行标注,有效地将不同模态特征准确映射到公共的特征空间中,实现异构模态信息之间的可比性,从而提高交互式人脸语音标注的准确性。
-
公开(公告)号:CN113418865B
公开(公告)日:2023-07-28
申请号:CN202110658116.4
申请日:2021-06-11
Applicant: 华侨大学 , 厦门吉信德集团有限公司
Abstract: 本发明公开了工件规格自适应的全方位、集成化线扫视觉检测系统,包括依次连接的推入式入料机构、红外测距机构、全方位线扫采集机构和出料机构;所述全方位线扫采集机构包括双开口通道和错位安装在所述双开口通道内的4组线扫采集系统,所述双开口通道的底部具有检测口;其中3组线扫采集系统分别包括线扫相机和伺服电机,所述伺服电机控制所述线扫相机移动,所述3组线扫采集系统分别安装在所述双开口通道内的顶壁和两个侧壁,所述红外测距机构分别对应所述3组线扫采集系统设置,所述伺服电机分别根据红外测距机构的数据控制所述线扫相机移动,另一组线扫采集系统安装在所述双开口通道的检测口内;扫描采集前,所述线扫相机预先设定感兴趣区域(ROI)。
-
公开(公告)号:CN116416645A
公开(公告)日:2023-07-11
申请号:CN202310199941.1
申请日:2023-03-03
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06V40/10 , G06V10/82 , G06N3/08 , G06V10/74 , G06N3/0464
Abstract: 本发明公开了一种基于双分支Transformer网络的属性与图像跨模态行人再辨识方法及装置,获取行人属性和行人图像,行人图像来自行人注册图像集;构建双分支Transformer网络,并对双分支Transformer网络训练,得到属性与图像跨模态行人再辨识模型,双分支Transformer网络包括同型的属性Transformer分支和图像Transformer分支;将行人属性和行人图像输入属性与图像跨模态行人再辨识模型,分别通过属性Transformer分支和图像Transformer分支提取得到属性特征和图像特征;将属性特征与图像特征进行相似度比对,得到行人属性对应的再辨识结果。属性Transformer分支和图像Transformer分支都属于同型的Transformer结构,有利于控制文本属性和行人图像在特征空间中的模态异质性问题,从而提升属性‑图像跨模态行人再辨识准确性。
-
公开(公告)号:CN115620343A
公开(公告)日:2023-01-17
申请号:CN202211386276.9
申请日:2022-11-07
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明提供一种基于多代理相似度聚合的跨模态行人再辨识方法,用于解决昼夜光照差异大而带来的白天可见光图像与夜晚红外图像匹配困难的问题。因此,本发明为每个类别分配多个可学习的代理,获得多代理相似度,并设计多代理相似度聚合机制,实现跨模态行人再辨识。一方面,本发明为每个类别学习多个代理,可以更好地刻画由于数据跨模态引起的剧烈类内差异;另一方面,本发明设计聚合机制,学习最佳的多代理相似度聚合方式,提升跨模态行人再辨识的准确性。因此,本发明可广泛应用于智慧城市、智慧交通以及智慧安防中的智能视频监控系统。
-
公开(公告)号:CN114743128A
公开(公告)日:2022-07-12
申请号:CN202210225924.6
申请日:2022-03-09
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于异种神经网络的多模态东北虎再辨识方法及装置,涉及机器视觉技术领域,可应用于跟踪东北虎的活动轨迹调查,对保护濒危的东北虎具有重大意义。本发明的异种神经网络包括用双分支残差神经网络和Transformer网络,其中,双分支残差卷积神经网络用于先对红外图像和可见光图像学习局部特征;Transformer网络对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征,利用自注意力机制学习东北虎的全局特征。双分支残差卷积神经网络的各分支结构相同但参数独立,用于处理红外和可见光东北虎图像光谱、分辨率、对比度等特性;而Transformer网络从全局视角学习信息东北虎特征,减少图像模态差异带来的噪声影响,实现高准确率的东北虎再辨识。
-
公开(公告)号:CN109344692B
公开(公告)日:2020-10-30
申请号:CN201810909854.X
申请日:2018-08-10
Applicant: 华侨大学
Abstract: 本发明公开了一种运动质量评价方法及系统。其中,所述方法包括:从人体关节点运动轨迹中提取出身体各个部位的局部运动模式,并建立对该运动模式进行判别的行为分类,进而根据该建立的对该运动模式进行判别的行为分类,建立基于人体关节点位移关联的姿态特征表示和质量评价模型,进而根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型,对摄像头采集到的视频中的人体运动进行质量评分。通过上述方式,能够实现不需要人工对人体运动数据进行标注,能够准确反馈人体运动质量的评价信息。
-
公开(公告)号:CN110782423A
公开(公告)日:2020-02-11
申请号:CN201911037171.0
申请日:2019-10-29
Applicant: 华侨大学 , 厦门吉信德宠物用品有限公司
Abstract: 本发明涉及一种实木锯材线扫相机图像自动拼接及抠图方法,选择线扫描相机作为实木锯材的图像采集设备,通过特殊设计的帧缓冲与帧拼接方法将线扫图像数据自动拼接完整,根据线扫实木锯材的形状和纹理特点,综合多项图像处理技术,实现锯材图像的稳定抠取。本发明方法可用于大幅面视场、高速度和高分辨率的森工企业自动化生产和检测领域,如实木锯材测量与检测、家具制造等。
-
-
-
-
-
-
-
-
-