-
公开(公告)号：CN116912642A
公开(公告)日：2023-10-20
申请号：CN202310570415.1
申请日：2023-05-19
Applicant: 电子科技大学
IPC: G06V10/80 , G06V10/764 , G06V10/82 , G06F40/126 , G06F40/284 , G06F18/24 , G06F18/25 , G06N3/0442 , G06N3/048 , G06N3/08
Abstract: 本发明基于双模多粒度交互的多模态情感分析方法、设备及介质包括如下步骤：首先分别提取不同模态的数据特征，其中，将文本数据输入BERT预训练模型，对评论文本数据进行基于字符级别的强抽取；将音频输入开源模型COVAPER中，提取声学特征；将图像特征输入ResNet网络中，提取图像的局部特征和全局特征；然后将文本特征和图像特征输入多粒度融合模块，将文本特征和音频特征和输入细粒度融合模块，分别融合文本‑图像特征，文本‑音频特征，并通过加权求和得到融合三种模态的特征向量；最后通过全连接层输出情感分类结果。本发明为支持设计制造运维一体化平台的情感分类准确率的提升提供支持。
-
公开(公告)号：CN116563859A
公开(公告)日：2023-08-08
申请号：CN202310576376.6
申请日：2023-05-22
Applicant: 电子科技大学
IPC: G06V30/18 , G06V30/19 , G06N3/0464 , G06F17/16
Abstract: 本发明涉及计算机视觉识别技术领域，面向图文融合的多粒度图像特征提取方法、装置、设备及介质包括如下步骤：对图像数据进行预处理；使用滑动窗口嵌入图像向量,进行互相关运算；将图像嵌入向量输入注意力计算层，首先将嵌入向量利用窗口注意力机制得到图像的局部特征，其次使用多层全局注意力机制提取图像的全局特征；通过拼接层同时输出图像的局部特征和全局特征。本发明通过滑动窗口嵌入图像向量，并通过窗口注意力机制和多层全局注意力机制提取图像的局部特征和全局特征，最后拼接后输出，该方法不仅能够充分考虑图像和文本之间的联系，而且实现了多粒度的图像特征提取。
-
公开(公告)号：CN115146057B
公开(公告)日：2024-06-28
申请号：CN202210593665.2
申请日：2022-05-27
Applicant: 电子科技大学
IPC: G06F16/35 , G06F40/211 , G06F40/289 , G06F40/30 , G06F18/25 , G06F18/2415 , G06V10/77
Abstract: 本发明公开了基于交互注意力的供应链生态区图文融合情感识别方法，包括如下步骤：对供应链生态社区的图文评论数据集进行预处理，得到预处理后的图文数据集；建立基于BERT预训练的文本特征提取模型和基于Transformer的图像特征提取模型，通过文本特征提取模型提取出预处理后的图文数据集中文本特征，通过图像特征提取模型提取出预处理后的图文数据集中图像特征；将提取的图像特征和文本特征送入基于改进注意力机制的特征融合模块进行特征融合，得到图像和文本的融合特征向量；建立基于文本和图像的多模态情感分析模型，利用图像和文本的融合特征向量进行情感分析，得到情感分类。通过本发明，可以实现充分而且有效的融合不同模态之间的信息，提升情感分类的准确率。
-
公开(公告)号：CN115146057A
公开(公告)日：2022-10-04
申请号：CN202210593665.2
申请日：2022-05-27
Applicant: 电子科技大学
IPC: G06F16/35 , G06F40/211 , G06F40/289 , G06F40/30 , G06K9/62 , G06V10/77
Abstract: 本发明公开了基于交互注意力的供应链生态区图文融合情感识别方法，包括如下步骤：对供应链生态社区的图文评论数据集进行预处理，得到预处理后的图文数据集；建立基于BERT预训练的文本特征提取模型和基于Transformer的图像特征提取模型，通过文本特征提取模型提取出预处理后的图文数据集中文本特征，通过图像特征提取模型提取出预处理后的图文数据集中图像特征；将提取的图像特征和文本特征送入基于改进注意力机制的特征融合模块进行特征融合，得到图像和文本的融合特征向量；建立基于文本和图像的多模态情感分析模型，利用图像和文本的融合特征向量进行情感分析，得到情感分类。通过本发明，可以实现充分而且有效的融合不同模态之间的信息，提升情感分类的准确率。
-
-
-
Search Results
4
records
(took 0.017 seconds)
