基于多粒度知识融合的影像报告生成方法、系统及设备

    公开(公告)号:CN119851852A

    公开(公告)日:2025-04-18

    申请号:CN202510318397.7

    申请日:2025-03-18

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于多粒度知识融合的影像报告生成方法、系统及设备,方法包括:影像报告预生成单元,用于接收医学影像作为输入,并通过影像报告生成模型对医学影像进行处理以获取初始影像报告文本;知识检索单元,用于基于初始影像报告文本从公开医学知识库、本地自建医学知识库及实时数据源中检索相关医学实体及其定义知识,得到多源医学知识;知识融合单元,用于对所述多源医学知识进行融合,以获取融合知识文本;最终报告生成单元,用于结合医学影像、初始影像报告文本及融合知识文本,通过影像报告生成模型进行影像报告的再生成,获得最终影像报告。本发明能够显著减少诊断错误,提高医生的工作效率,同时为患者提供更易理解的报告。

    一种人物交互检测设备及其方法、装置、可读存储介质

    公开(公告)号:CN114170623B

    公开(公告)日:2024-07-02

    申请号:CN202111344563.9

    申请日:2021-11-15

    Applicant: 华侨大学

    Abstract: 本发明提供了一种人物交互检测设备及其方法、装置、可读存储介质,包括:获取待检测的目标图像;根据所述目标图像生成输入参数集;输入参数集包括人体候选框集、物体候选框集、目标图像的全局特征和根据人体候选框集和物体候选框集生成HOI提议数据;调用训练好的基于多流架构的HOI检测模型;基于多流架构的HOI检测模型由多个不同流HOI检测模型并联形成;根据输入参数集获取各个流HOI检测模型的输入集,并将输入集输入至对应HOI检测模型,以获得每个HOI检测模型的输出;根据每个HOI检测模型输出计算得到最终交互预测分数,以输出采集到的目标图像中人物交互行为判断结果。旨在解决现有技术中HOI检测方法判断人物交互效果不佳,外观特征性能较差的问题。

    一种交互式人脸语音标注方法、装置、设备及存储介质

    公开(公告)号:CN117235667A

    公开(公告)日:2023-12-15

    申请号:CN202311237025.9

    申请日:2023-09-25

    Applicant: 华侨大学

    Abstract: 本发明提供了一种交互式人脸语音标注方法、装置、设备及存储介质,先接收人脸图像,并采用卷积神经网络对所述人脸图像进行特征提取,以生成人脸特征;接着获取语音信号,并采用循环神经网络及全连接层作对所述语音信号进行特征提取,以生成语音特征;再接着根据所述人脸图像和所述语音信号的身份标签信息,调用训练数据批次中的数据近似作为身份原型特征对所述语音特征和所述人脸特征执行对齐操作;最后基于所述对齐操作所述人脸图像和所述语音信号进行标注,有效地将不同模态特征准确映射到公共的特征空间中,实现异构模态信息之间的可比性,从而提高交互式人脸语音标注的准确性。

    工件规格自适应的全方位、集成化线扫视觉检测系统

    公开(公告)号:CN113418865B

    公开(公告)日:2023-07-28

    申请号:CN202110658116.4

    申请日:2021-06-11

    Abstract: 本发明公开了工件规格自适应的全方位、集成化线扫视觉检测系统,包括依次连接的推入式入料机构、红外测距机构、全方位线扫采集机构和出料机构;所述全方位线扫采集机构包括双开口通道和错位安装在所述双开口通道内的4组线扫采集系统,所述双开口通道的底部具有检测口;其中3组线扫采集系统分别包括线扫相机和伺服电机,所述伺服电机控制所述线扫相机移动,所述3组线扫采集系统分别安装在所述双开口通道内的顶壁和两个侧壁,所述红外测距机构分别对应所述3组线扫采集系统设置,所述伺服电机分别根据红外测距机构的数据控制所述线扫相机移动,另一组线扫采集系统安装在所述双开口通道的检测口内;扫描采集前,所述线扫相机预先设定感兴趣区域(ROI)。

    基于双分支Transformer网络的属性与图像跨模态行人再辨识方法及装置

    公开(公告)号:CN116416645A

    公开(公告)日:2023-07-11

    申请号:CN202310199941.1

    申请日:2023-03-03

    Abstract: 本发明公开了一种基于双分支Transformer网络的属性与图像跨模态行人再辨识方法及装置,获取行人属性和行人图像,行人图像来自行人注册图像集;构建双分支Transformer网络,并对双分支Transformer网络训练,得到属性与图像跨模态行人再辨识模型,双分支Transformer网络包括同型的属性Transformer分支和图像Transformer分支;将行人属性和行人图像输入属性与图像跨模态行人再辨识模型,分别通过属性Transformer分支和图像Transformer分支提取得到属性特征和图像特征;将属性特征与图像特征进行相似度比对,得到行人属性对应的再辨识结果。属性Transformer分支和图像Transformer分支都属于同型的Transformer结构,有利于控制文本属性和行人图像在特征空间中的模态异质性问题,从而提升属性‑图像跨模态行人再辨识准确性。

    一种运动质量评价方法及系统

    公开(公告)号:CN109344692B

    公开(公告)日:2020-10-30

    申请号:CN201810909854.X

    申请日:2018-08-10

    Applicant: 华侨大学

    Abstract: 本发明公开了一种运动质量评价方法及系统。其中,所述方法包括:从人体关节点运动轨迹中提取出身体各个部位的局部运动模式,并建立对该运动模式进行判别的行为分类,进而根据该建立的对该运动模式进行判别的行为分类,建立基于人体关节点位移关联的姿态特征表示和质量评价模型,进而根据该建立的基于人体关节点位移关联的姿态特征表示和质量评价模型,对摄像头采集到的视频中的人体运动进行质量评分。通过上述方式,能够实现不需要人工对人体运动数据进行标注,能够准确反馈人体运动质量的评价信息。

Patent Agency Ranking