公开(公告)号：CN116932722A

公开(公告)日：2023-10-24

申请号：CN202310933589.X

申请日：2023-07-26

Applicant: 海南大学

Inventor： 张艺烽 ,  谢夏 ,  李志勇 ,  胡月明

IPC: G06F16/332 ,  G06F16/36 ,  G06N5/025 ,  G06F18/213 ,  G06F18/241 ,  G06F18/25 ,  G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G16H30/00

Abstract: 本发明提供了一种基于跨模态数据融合的医学视觉问答方法及系统，包括：基于文本特征提取网络、图像特征提取网络、特征融合网络、知识图谱学习网络和分类网络，构建多任务学习模型；实体预测任务和答案预测任务共用分类网络中除输出层之外的网络层；基于样本医学图像、对应的有答案标签的样本问题文本以及医学知识图谱，以实体预测任务和答案预测任务的损失为约束，训练多任务学习模型；基于训练完成的多任务学习模型，构建答案预测模型；将待预测的医学图像及其对应的问题文本输入至答案预测模型，获得问题文本的答案。本发明解决了现有的医疗图像数据集标注难度大，标注样本少的问题，在医疗图像问答的任务上达到了较高的准确率。

公开(公告)号：CN119206584A

公开(公告)日：2024-12-27

申请号：CN202411351930.1

申请日：2024-09-26

Applicant: 海南大学

Inventor： 吴宇成 ,  赵梦涵 ,  李志勇 ,  谢夏 ,  黄小欧

IPC: G06V20/40 ,  G06V40/10 ,  G06V10/764 ,  G06V10/25 ,  G06V10/82 ,  G06V40/16 ,  G06N3/0464

Abstract: 本申请属于动态修正的课堂学生状态多模态识别方法及系统，方法包括：获取课堂内的视频图像，对所述视频图像进行人物检测和截取，得到视频中携带学生信息的截取图像；基于所述截取图像对学生状态进行分类，得到分类结果，基于所述截取图像对学生身份进行识别，得到学生身份信息；利用多模态大语言模型对所述分类结果进行动态修正，得到学生状态时间轴；基于所述学生身份信息和学生状态时间轴进行学生状态识别，得到课堂内学生的状态识别结果和行为评价结果。通过本申请能够提高识别准确度和识别效率。