-
公开(公告)号:CN118396475A
公开(公告)日:2024-07-26
申请号:CN202410662219.1
申请日:2024-05-27
Applicant: 西南交通大学
IPC: G06Q10/0639 , G06Q30/0282 , G06F18/213 , G06F18/25 , G06N3/048 , G06N3/08 , G06N3/0464 , G06N3/0455
Abstract: 本发明公开了基于子标签增强的多视角评论质量排序方法,包括获取评论质量排序数据集,生成各视角相似度分数作为各视角训练的子标签;将训练的文本和图像输入编码器中得到文本特征和图像特征;将文本特征和图像特征输入信息交互模块,通过融合不同模态的特征以得到五个视角表征;将各视角表征串联以获得多视角表征,并利用评论质量分数标签和子标签监督与视角表征有关的训练参数的更新;训练完成后,将测试文本和图像通过编码器生成文本特征及图像特征;将文本特征和图像特征通过训练后的信息交互模块生成各视角表征,并将其串联后形成的多视角表征输入四层线性神经网络以得到评论质量预测分数。本发明在评论质量排序任务上的性能显著提升。
-
公开(公告)号:CN117216566B
公开(公告)日:2024-04-09
申请号:CN202311189197.3
申请日:2023-09-14
Applicant: 西南交通大学
IPC: G06F18/214 , G06N3/0895 , G06N3/098
Abstract: 本发明公开了一种基于局部‑全局伪标记的联邦半监督学习方法,步骤S1、在通信轮次t开始时,服务器将全局模型参数#imgabs0#传输到活动客户端;每个客户端在接收到参数后再利用全局模型#imgabs1#和上一轮通信轮次t‑1中训练得到的本地模型#imgabs2#在未标记数据的弱增强视图#imgabs3#上生成伪标签,并将其作为本地训练强增强视图的目标用于优化交叉熵损失;S2、本地训练结束后每个客户端将本地模型的参数#imgabs4#发回到服务器,服务器聚合这些参数并对其进行微调,最后得到一个新的全局模型#imgabs5#上述交替训练过程重复多次至全局模型收敛后结束。
-
公开(公告)号:CN117058594A
公开(公告)日:2023-11-14
申请号:CN202311132856.X
申请日:2023-09-04
Applicant: 西南交通大学
IPC: G06V20/40 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 本发明涉及一种基于动态融合门机制的多模态视频分类方法,属于视频分类技术领域。为了克服现有技术中存在的缺陷,本发明旨在提供一种基于动态融合门机制的多模态视频分类方法,包括通过单模态特征提取模块抽取目标视频的多级视觉特征、多级文本特征;基于视频帧的多级视觉特征、视频字幕的多级文本特征,采用动态融合门模块获取以视觉为主体的多模态融合特征和以文本为主体的多模态融合特征;基于以视觉为主体的多模态融合特征和以文本为主体的多模态融合特征,采用视频分类模块进行视频分类。本发明通过动态融合门机制让模型自己去学习更适合自身的单模态特征使用数量和多模态融合位置,从而加速视频分类模型的训练效率、提升模型分类效果。
-
公开(公告)号:CN118396475B
公开(公告)日:2024-11-19
申请号:CN202410662219.1
申请日:2024-05-27
Applicant: 西南交通大学
IPC: G06Q10/0639 , G06Q30/0282 , G06F18/213 , G06F18/25 , G06N3/048 , G06N3/08 , G06N3/0464 , G06N3/0455
Abstract: 本发明公开了基于子标签增强的多视角评论质量排序方法,包括获取评论质量排序数据集,生成各视角相似度分数作为各视角训练的子标签;将训练的文本和图像输入编码器中得到文本特征和图像特征;将文本特征和图像特征输入信息交互模块,通过融合不同模态的特征以得到五个视角表征;将各视角表征串联以获得多视角表征,并利用评论质量分数标签和子标签监督与视角表征有关的训练参数的更新;训练完成后,将测试文本和图像通过编码器生成文本特征及图像特征;将文本特征和图像特征通过训练后的信息交互模块生成各视角表征,并将其串联后形成的多视角表征输入四层线性神经网络以得到评论质量预测分数。本发明在评论质量排序任务上的性能显著提升。
-
公开(公告)号:CN116994098B
公开(公告)日:2023-12-05
申请号:CN202311261605.1
申请日:2023-09-27
Applicant: 西南交通大学
IPC: G06V10/774 , G06V10/764 , G06F18/24
Abstract: 本发明公开了基于类别属性知识增强的大模型提示学习方法,包括获取图像识别训练数据集,通过人工注释或使用ChatGPT生成各类别的视觉属性集;通过属性集成模块生成属性可感知提示背景;将训练图像和对应的携带视觉属性信息的提示句分别放入图像编码器、文本编码器中获得图像特征、文本分类权重;将图像特征、文本分类权重进行对比学习,通过对比学习更新属性集成模块的参数,得到训练之后的属性集成模块;根据测试任务的类别空间生成各测试类别最显著的视觉属性集;将待测试图像及各测试类别的视觉属性集载入模型,计算文本分类权重和图像特征的相似度,相似度最大的文本对即为预测
-
公开(公告)号:CN116994098A
公开(公告)日:2023-11-03
申请号:CN202311261605.1
申请日:2023-09-27
Applicant: 西南交通大学
IPC: G06V10/774 , G06V10/764 , G06F18/24
Abstract: 本发明公开了基于类别属性知识增强的大模型提示学习方法,包括获取图像识别训练数据集,通过人工注释或使用ChatGPT生成各类别的视觉属性集;通过属性集成模块生成属性可感知提示背景;将训练图像和对应的携带视觉属性信息的提示句分别放入图像编码器、文本编码器中获得图像特征、文本分类权重;将图像特征、文本分类权重进行对比学习,通过对比学习更新属性集成模块的参数,得到训练之后的属性集成模块;根据测试任务的类别空间生成各测试类别最显著的视觉属性集;将待测试图像及各测试类别的视觉属性集载入模型,计算文本分类权重和图像特征的相似度,相似度最大的文本对即为预测结果。本发明具有零样本识别能力强以及可扩展性强等优点。
-
公开(公告)号:CN116842455A
公开(公告)日:2023-10-03
申请号:CN202310685368.5
申请日:2023-06-09
Applicant: 西南交通大学
IPC: G06F18/2411 , G06N3/0464 , G06N3/08 , G06F18/2413 , G16H10/60
Abstract: 本发明公开了一种基于最邻近对比学习的小样本编码方法,利用卷积神经网络和ICD编码描述捕捉文本语义特征,并利用注意力机制以捕获到与ICD信息关系密切相关的病历文本内容,使用额外的结构化知识的统一医学语言系统和ICD编码的树形层次结构来构建对比学习的正负样本,进而训练了一个针对同一个编码不同表述的自CMCL模型,使得同义表述和其缩写的特征表示在特征空间中更接近,不同编码的表述在特征空间中距离更远。最后利用k邻近模块整合训练集中已有知识获得最佳预测结果。
-
公开(公告)号:CN119357368A
公开(公告)日:2025-01-24
申请号:CN202411395331.X
申请日:2024-10-08
Applicant: 西南交通大学
IPC: G06F16/334 , G06F16/36 , G06F40/30 , G06N5/04
Abstract: 本发明提供一种基于不确定性知识图谱的语义推理方法,涉及文本语义推理技术领域,该方法为利用模式匹配,获取文本语义信息;基于文本语义信息,利用线性变换的知识图谱对三元组进行向量化,得到能量函数;利用三元组评估器,对能量函数进行分析,得到结构性分数和不确定性分数;对结构性分数和所述不确定性分数进行线性融合,得到线性融合分数;基于不确定性分数,利用置信度生成器计算各个三元组的置信度,将筛选得到的三元组的线性融合分数和对应置信度作为语义推理结果,完成知识图谱的语义推理。本发明解决了知识图谱的知识扩展性和响应速度差、解释性差、知识的不确定性难以表达的问题。
-
公开(公告)号:CN117216566A
公开(公告)日:2023-12-12
申请号:CN202311189197.3
申请日:2023-09-14
Applicant: 西南交通大学
IPC: G06F18/214 , G06N3/0895 , G06N3/098
Abstract: 本发明公开了一种基于局部‑全局伪标记的联邦半监督学习方法,步骤S1、在通信轮次t开始时,服务器将全局模型参数传输到活动客户端;每个客户端在接收到参数后再利用全局模型和上一轮通信轮次t‑1中训练得到的本地模型 在未标记数据的弱增强视图上生成伪标签,并将其作为本地训练强增强视图的目标用于优化交叉熵损失;S2、本地训练结束后每个客户端将本地模型的参数发回到服务器,服务器聚合这些参数并对其进行微调,最后得到一个新的全局模型 上述交替训练过程重复多次至全局模型收敛后结束。
-
公开(公告)号:CN117058394A
公开(公告)日:2023-11-14
申请号:CN202311132788.7
申请日:2023-09-04
Applicant: 西南交通大学
IPC: G06V10/26 , G06V10/774 , G06V10/764 , G06V20/70 , G06V10/82 , G06N3/048 , G06N3/084 , G06N3/0895
Abstract: 本发明涉及一种零样本语义分割方法,属于图像分割领域。为了克服现有技术中存在的缺陷,本发明旨在提供一种零样本语义分割方法,包括使用了大规模的图像分类数据集,并通过训练弱监督语义分割模型,对图片进行像素级伪标注。再用图像与像素级伪标注,训练语义分割模型,收集类别词向量,训练分类层权重预测网络。最后收集目标数据集类别词向量,目标数据集类别与训练数据集类别可以完全不相交,输入训练好的分类层权重预测网络,将输出替换语义分割模型的分类层权重,实现零样本语义分割。本发明应对了训练数据集缺少推理时所需类别的样本的问题,提出训练分类层权重预测网络,替换语义分割模型的分类层权重,实现了零样本图像分割。
-
-
-
-
-
-
-
-
-