一种图文融合的低秩多模态融合情感分析方法

    公开(公告)号:CN117688936B

    公开(公告)日:2024-04-19

    申请号:CN202410158289.3

    申请日:2024-02-04

    Abstract: 本发明涉及一种图文融合的低秩多模态融合情感分析方法,本发明获取网络平台用户意见图文对数据并制作用户意见图文对数据集;使用双向编码表征模型提取用户意见图文对中的文本特征;使用结构重参数化视觉几何组模型提取用户意见图文对中的图像特征;通过多模态特征融合层对提取出的文本特征和图像特征进行低秩多模态融合,得到多模态融合特征:将多模态融合特征输入情感分类器中进行三分类预测,获取到最终用户情感预测。本发明通过多模态特征融合层对提取出的文本特征和图像特征进行低秩多模态融合,提升了用户意见图文对情感预测的准确性,有效解决了单一模态下情感识别的混淆性,提高了情感模型预测的效果和性能。

    一种基于YOLOv5的害虫检测方法及系统

    公开(公告)号:CN117649610A

    公开(公告)日:2024-03-05

    申请号:CN202410122712.4

    申请日:2024-01-30

    Inventor: 杨文姬 丘小英

    Abstract: 本发明公开了一种基于YOLOv5的害虫检测方法及系统,该方法包括:从摄像头采集的视频画面中截取图像,输入到改进的YOLOv5检测模型进行害虫检测,获取害虫的类别和数量信息,所述改进的YOLOv5检测模型,以YOLOv5s为基础模型,将主干网络和颈部网络中的C3模块替换成C3NCBAM模块,所述C3NCBAM模块由C3模块中添加NCBAM模块构成,所述NCBAM模块由改进坐标注意力模块和空间注意力模块串联构成。本发明将YOLOv5s中的C3模块替换成C3CBAM模块,以提高模型的特征提取能力、检测的准确性和速度。

    一种基于双向曲形状态空间模型的手网格重建系统及方法

    公开(公告)号:CN118172648B

    公开(公告)日:2024-07-23

    申请号:CN202410591602.2

    申请日:2024-05-14

    Abstract: 本发明属于图像识别技术领域,公开了一种基于双向曲形状态空间模型的手网格重建系统及方法,该手网格重建系统,包括编码器和解码器,所述编码器包括若干个双向曲形状态空间模型构成的第一编码阶段、第二编码阶段、第三编码阶段、第四编码阶段;所述解码器包括以若干个双向曲形状态空间模型构成的第一解码阶段、第二解码阶段、第三解码阶段、第四解码阶段;所述双向曲形状态空间模型包括特征重构、远程依赖学习及特征复原。本发明基于双向曲形状态空间模型和残差连接构建了一个浅、深层特征充分融合的U型架构,重建手网格的特征既具备较强的远程依赖,又富含细节信息。

    一种基于YOLOv5的害虫检测方法及系统

    公开(公告)号:CN117649610B

    公开(公告)日:2024-05-28

    申请号:CN202410122712.4

    申请日:2024-01-30

    Inventor: 杨文姬 丘小英

    Abstract: 本发明公开了一种基于YOLOv5的害虫检测方法及系统,该方法包括:从摄像头采集的视频画面中截取图像,输入到改进的YOLOv5检测模型进行害虫检测,获取害虫的类别和数量信息,所述改进的YOLOv5检测模型,以YOLOv5s为基础模型,将主干网络和颈部网络中的C3模块替换成C3NCBAM模块,所述C3NCBAM模块由C3模块中添加NCBAM模块构成,所述NCBAM模块由改进坐标注意力模块和空间注意力模块串联构成。本发明将YOLOv5s中的C3模块替换成C3CBAM模块,以提高模型的特征提取能力、检测的准确性和速度。

    长文本生成图像的方法及系统

    公开(公告)号:CN116503517B

    公开(公告)日:2023-09-05

    申请号:CN202310764770.2

    申请日:2023-06-27

    Abstract: 本发明提供了一种长文本生成图像的方法及系统,该方法包括:在潜在空间中随机获取一特征向量,并将所述特征向量输入至预设全连接层中,以生成对应的初始特征图;通过预设融合块和预设融合器将预设长文本特征对应融合至所述初始特征图中,以生成对应的中间特征图;依次通过预设卷积层和预设激活层对所述中间特征图进行图像化处理,以生成对应的目标图像,所述目标图像包含所述预设长文本特征中的特征元素。通过上述方式能够将外界的长文本特征对应融合至随机生成的初始特征图中,并最终根据该初始特征图生成需要的目标图像,并且该目标图像包含与上述长文本特征对应的特征元素,即对应的场景图像。

    基于扩散模型的多模态三维手部网格重建方法

    公开(公告)号:CN119152149B

    公开(公告)日:2025-04-22

    申请号:CN202411645849.4

    申请日:2024-11-18

    Abstract: 本发明属于人体姿态识别技术领域,公开了基于扩散模型的多模态三维手部网格重建方法,通过特征提取模型采集深度图和点云数据,并根据深度图和点云数据提取手部关节特征;将一个初始化的标准高斯分布的噪声连同提取到的手部关节特征一起输入扩散模型中进行迭代去噪,通过多次迭代逐步从噪声中恢复出手部关节位置;根据手部关节位置,通过网格重建模块重建三维手部网格。本发明基于彩色图像,通过融合深度图和三维点云数据,实现了高精度的三维手部网格重建,显著提升了手部姿态重建的速度和准确性。

    一种端到端的手部对象交互姿态估计方法及系统

    公开(公告)号:CN118247851A

    公开(公告)日:2024-06-25

    申请号:CN202410671058.2

    申请日:2024-05-28

    Abstract: 本发明属于三维姿态估计技术领域,公开了一种端到端的手部对象交互姿态估计方法及系统,该方法包括特征提取阶段和重建阶段,所述特征提取阶段利用关键点检测模型提取特征和热图;所述重建阶段包括姿势重建分支和形状重建分支,所述姿势重建分支重建在交互场景下的手部和对象的姿态,所述形状重建分支重建在交互场景下的手部和对象的形状。本发明采用改进GraFormer模块对姿势重建分支和形状重建分支进行改进,改进GraFormer模块中加入了语义图卷积层,通过语义图卷积层对相邻节点之间的语义信息进行提取,增强特征的语义表达能力;在形状重建分支中加入了一个特征增强模块,提高了特征的表征能力。

    一种基于双向曲形状态空间模型的手网格重建系统及方法

    公开(公告)号:CN118172648A

    公开(公告)日:2024-06-11

    申请号:CN202410591602.2

    申请日:2024-05-14

    Abstract: 本发明属于图像识别技术领域,公开了一种基于双向曲形状态空间模型的手网格重建系统及方法,该手网格重建系统,包括编码器和解码器,所述编码器包括若干个双向曲形状态空间模型构成的第一编码阶段、第二编码阶段、第三编码阶段、第四编码阶段;所述解码器包括以若干个双向曲形状态空间模型构成的第一解码阶段、第二解码阶段、第三解码阶段、第四解码阶段;所述双向曲形状态空间模型包括特征重构、远程依赖学习及特征复原。本发明基于双向曲形状态空间模型和残差连接构建了一个浅、深层特征充分融合的U型架构,重建手网格的特征既具备较强的远程依赖,又富含细节信息。

Patent Agency Ranking