公开(公告)号：CN118673401A

公开(公告)日：2024-09-20

申请号：CN202410694269.8

申请日：2024-05-30

Applicant: 新疆大学

Inventor： 禹龙 ,  何晓宇 ,  田生伟 ,  王婧 ,  杨启萌 ,  宋金淼 ,  范鑫

IPC: G06F18/2415 ,  G06F18/214 ,  G06F18/25 ,  G06N3/098 ,  G06F16/35 ,  G06F17/16

Abstract: 用于多模态隐喻检测的模态表征分解方法，属于自然语言处理的技术领域。该方法通过不同的Projector将每个模态表征分解为一致性特征和差异性特征。然后，利用设计的对比学习框架为模态的一致性特征和差异性特征学习提供更为全面的视角。同时，为了保留与隐喻检测任务相关模态特异性信息，设计了多任务学习框架，该任务依赖于每个模态的分解表征，使模型能够从单模态预测中进行学习，减少特异性隐喻信息丢失。通过精心设计的对比学习和多任务学习联合框架，确保所有模态中的特征都能够在多个训练路径中得到充分的调整和优化。

公开(公告)号：CN118735794A

公开(公告)日：2024-10-01

申请号：CN202410694283.8

申请日：2024-05-30

Applicant: 新疆大学

Inventor： 禹龙 ,  王婧 ,  田生伟 ,  何晓宇 ,  杨启萌 ,  宋金淼 ,  范鑫

IPC: G06T5/50 ,  G06T5/60 ,  G06T7/40 ,  G06T7/11 ,  G06V10/44 ,  G06F17/16 ,  G06N3/0455 ,  G06N3/088

Abstract: 基于Transformer的无监督多源图像融合方法，属于图像处理的技术领域。该方法中编码器网络包括两个Transformer块和一个细节块。Transformer块利用远程注意力来处理低频全局信息，而细节块则侧重于提取高频局部特征。该方法不仅解决了网络中间层信息利用不足的问题，还能兼顾高频特征和低频信息的捕获。另该方法还在鉴别器中加入了压缩和激励网络，以迫使模型聚焦于源图像中最显著的区域。在多个数据集上进行大量仿真实验的结果表明，与现有融合框架相比，该方法具有竞争力的融合结果。