基于预训练模型和金字塔图融合的多模态人格预测方法

    公开(公告)号:CN119337325A

    公开(公告)日:2025-01-21

    申请号:CN202411884879.0

    申请日:2024-12-20

    Inventor: 王荣全 马惠敏

    Abstract: 本发明提供一种基于预训练模型和金字塔图融合的多模态人格预测方法及装置,涉及情感计算技术领域。该方法包括:根据原始视频以及预设的人格描述词列表,通过预训练模型进行单模态特征提取,获得三类单模态特征;基于相似性函数,根据三类单模态特征进行两单模态间相似性计算,得到双模态关联特征;根据文本数据和三类单模态特征,通过特征编码器进行特征拼接,获得三模态组合特征;根据三类单模态特征、双模态关联特征和三模态组合特征通过金字塔图融合网络进行特征融合,获得多模态融合特征;输入双层感知机进行人格预测,获得人格预测结果。本发明是一种集成预训练模型以及金字塔图融合网络的准确度高的多模态人格预测方法。

    多种关联特征和图关系注意的多模态人格感知方法及装置

    公开(公告)号:CN119323002A

    公开(公告)日:2025-01-17

    申请号:CN202411236190.7

    申请日:2024-09-04

    Inventor: 王荣全 马惠敏

    Abstract: 本发明涉及计算机视觉领域,特别是指一种多种关联特征和图关系注意的多模态人格感知方法及装置。所述方法包括:获取待进行人格感知的输入视频;将输入视频输入到数据预处理模块,得到视觉模态输入、音频模态输入以及文本模态输入;将视觉模态输入、音频模态输入以及文本模态输入输入到模态特征提取网络模块,得到场景‑音频关联特征、场景‑描述词关联特征、音频‑描述词关联特征以及文本模态特征;将场景‑音频关联特征、场景‑描述词关联特征、音频‑描述词关联特征以及文本模态特征输入到特征融合模块,得到多模态融合特征;将多模态融合特征输入到感知预测模块,得到人格感知结果。本发明提出了一种多模态注意融合框架,用于人格感知。

    基于注意力机制的鲁棒自监督多模态图像融合方法及装置

    公开(公告)号:CN118469831A

    公开(公告)日:2024-08-09

    申请号:CN202410611048.X

    申请日:2024-05-16

    Abstract: 本发明涉及数字影像技术领域,特别是指一种基于注意力机制的鲁棒自监督多模态图像融合方法及装置。所述方法包括:使用拍摄设备进行图像采集,获取可见光源图像以及红外源图像;根据可见光源图像以及红外源图像进行焦点融合处理,获得焦点融合图;基于注意力机制以及Transformer网络结构进行模块构建,获得联合学习模块;基于焦点融合图,将可见光源图像以及红外源图像输入联合学习模块进行图像融合,获得第二融合图像;将第二融合图像输入预设的语义模型进行语义添加,获得第三融合图像。本发明是一种基于注意力机制的效率高、鲁棒性强的自监督多模态图像融合方法。

    一种基于知识与数据联合的路径规划方法、应用及装置

    公开(公告)号:CN117808180B

    公开(公告)日:2024-07-05

    申请号:CN202311816500.8

    申请日:2023-12-27

    Abstract: 本发明属于数据处理技术领域,公开了一种基于知识与数据联合的路径规划方法、应用及装置,将物流配送路径优化问题抽象为因果强化学习的目标空间,其中图的节点代表物流配送地点,边代表连接这些地点的道路;定义物流配送路径优化问题的优化目标、状态空间、动作空间、策略、奖励函数和奖励期望;利用智能体在已完成建模的因果强化学习环境中对物流配送路径优化问题进行学习求解,以找出最优的货物配送策略。传统的物流配送求解方法往往基于静态数据进行路径规划。而新的方法和系统能够动态调整配送策略,提高物流效率和准确性。最后,本发明基于所提出的每一种子方法均给出其对应的硬件实现,在计算机硬件层面对其内部求解性能做出了优化。

    基于真实数据集的三维驾驶场景生成与构建方法及装置

    公开(公告)号:CN116206068A

    公开(公告)日:2023-06-02

    申请号:CN202310473105.8

    申请日:2023-04-28

    Abstract: 本发明公开了一种基于真实数据集的三维驾驶场景生成与构建方法及装置,涉及自动驾驶仿真技术领域。包括:获取待生成三维驾驶场景的城市场景数据;将城市场景数据输入到构建好的三维驾驶场景生成与构建模型;其中,三维驾驶场景生成与构建模型包括对象提取模块、模型重建模块、位姿解析模块、街景路网生成模块以及静态建筑重建模块;根据城市场景数据以及三维驾驶场景生成与构建模型,完成三维驾驶场景的前景物体生成和背景场景重建。本发明能够解决从二维到三维场景自动化生成需求,同时在提高场景模型扩展性、生成实时性、构建轻量性上做出开创性工作。

    一种基于特征调制的自适应小样本图像分类方法及装置

    公开(公告)号:CN115775340B

    公开(公告)日:2023-05-16

    申请号:CN202310104730.5

    申请日:2023-02-13

    Abstract: 本发明涉及图像分类技术领域,特别是指一种基于特征调制的自适应小样本图像分类方法及装置,一种基于特征调制的自适应小样本图像分类方法及装置包括:采集基础图像数据,获得小样本数据集;根据公开数据集和所述小样本数据集进行划分操作,获得训练集;根据所述小样本数据集和所述训练集,建立特征提取神经网络;根据所述训练集,建立特征调制网络;根据所述特征提取神经网络和所述特征调制网络,对待查询图像进行分类操作,获得图片分类结果。本发明基于小样本任务的全部支撑集数据有效地提升了小样本图像分类方法的准确程度。

    基于注意力的锂离子电池日历老化预测模型和方法

    公开(公告)号:CN115718263B

    公开(公告)日:2023-04-07

    申请号:CN202310023441.2

    申请日:2023-01-09

    Abstract: 本发明公开了一种基于注意力的锂离子电池日历老化预测模型和方法(Knowledge‑Data‑Attention‑based Calendar Aging Forecaster,即KDACAF),其包括半经验模块(SEM模块)、知识驱动注意力模块、数据驱动注意力模块、长短时记忆模块(LSTM模块)。本发明KDACAF所述的基于注意力的锂离子电池日历老化预测模型和方法,其知识驱动注意力模块以基于阿伦尼乌斯定律的半经验模块为前端,将电池领域电化学先验知识融入数据驱动的神经网络中,借鉴人类的认知决策机理将注意力机制应用于锂离子电池日历老化预测,有助于电池健康状态的监测和管理,延长电池的使用寿命。

    基于机器心智模型和自注意力的风力发电分位数预测方法

    公开(公告)号:CN115907233A

    公开(公告)日:2023-04-04

    申请号:CN202310014898.7

    申请日:2023-01-06

    Inventor: 胡天宇 马惠敏

    Abstract: 本发明提出了一种基于机器心智模型和自注意力的风力发电分位数预测方法,包括以下步骤:借鉴人类认知决策机理,构建机器心智模型作为ToMWPF的基本架构,再将风力发电季节规律和短期日内发电趋势,编码入ToMWPF中作为本预测方法的输入信息‑采用自注意力层来取代原始机器心智模型中的循环神经网络,有效地在季节发电规律和日内发电趋势之间建立统计联系,减轻原有机器心智模型的长程遗忘‑将积分形式的连续秩概率得分转化为求和形式,并将其作为损失函数训练ToMWPF,使ToMWPF以最高的效率逼近最优的分位数预测结果。本发明采用上述方法,可实现准确的风力发电分位数预测,有利于能源系统的运行,提高低碳未来的社会福利。

Patent Agency Ranking