基于归一化互信息的多模态融合方法、装置、介质及设备

    公开(公告)号:CN111461176B

    公开(公告)日:2023-03-21

    申请号:CN202010156708.1

    申请日:2020-03-09

    Abstract: 本发明提供了一种基于归一化互信息的多模态融合方法、装置、介质及设备;其中方法包括如下步骤:获取采集人体的多种模态数据集,各种模态数据集中的数据分别带有标签;对各种模态数据集进行预处理;将预处理后的各种模态数据集分别进行特征提取;通过宽度学习系统得到各个模态数据集的宽度学习特征映射;确定归一化互信息的多模态融合方式;将宽度学习系统进行训练和测试;根据训练和测试好的多模态融合方式和判别架构模型来进行模态特征融合和最终的判决输出。本发明训练速度快,资源消耗少,能快速构建增量学习模型;可实现模态间的信息互补减少冗余模态信息;具有良好的可靠性、准确性和鲁棒性。

    一种基于全局和局部特征学习的行人再识别方法

    公开(公告)号:CN110008861A

    公开(公告)日:2019-07-12

    申请号:CN201910219450.2

    申请日:2019-03-21

    Abstract: 本发明公开了一种基于全局和局部特征学习的行人再识别方法,包括以下步骤:S1、获取训练数据集,将训练数据进行预处理以及数据增强;S2、构建深度卷积神经网络;步骤S3、利用训练数据训练所述网络;S4、获取测试数据集,且对其进行预处理,然后利用训练好的网络提取每个测试集图像的特征;S5、计算每个Query数据的特征与Gallery数据集里的特征的相似度得分;S6、对所有的相似度得分排序,得分最高的Gallery行人图像可以认为和与之对应的query行人是同一个行人,进而得到待识别图像的结果。本发明提出的网络,不仅简单,而且不需要额外的行人信息就能取得比其他经典方法更高的准确率。

    一种基于运动传感器的步态识别方法

    公开(公告)号:CN107122704A

    公开(公告)日:2017-09-01

    申请号:CN201710155546.8

    申请日:2017-03-16

    CPC classification number: G06K9/00348 G06F21/32

    Abstract: 本发明公开了一种基于运动传感器的步态识别方法,包括下列步骤:通过运动传感器采集获得佩戴用户在行走过程中产生的步态数据;对步态数据进行步态周期估计,对步态数据进行定位切割,实现步态数据的特征值提取;通过步态数据特征值曲线的上升沿延续长度及时间跨度的匹配比较,从匹配库筛选出匹配度高于判定阈值的候选人,将步态数据特征值在频域分别与每一个待识别的候选人的傅里叶变换之后的步态数据进行误差积分得到对每一个待识别的候选人的匹配度,将匹配度最大的候选人认定为身份匹配成功。该方法对用户身份的识别是基于人的步态特征,与指纹识别等传统技术相比更难被仿造,安全性更高,验证过程在使用者自然行走中完成,使用体验更流畅。

    一种基于立方体模板的神经网络编码解码方法及系统

    公开(公告)号:CN112991473B

    公开(公告)日:2023-07-18

    申请号:CN202110295414.1

    申请日:2021-03-19

    Abstract: 本发明公开了一种基于立方体模板的神经网络编码解码方法及系统,包括确定所需要的数据集作为输入点云数据,数据集为单类别或多类别的点云数据,点云数据为矩阵形式;获得矩阵形式的点云数据的逐点局部几何特征;对局部几何特征以及输入点云数据进行统一角度的旋转实现数据增强;将增强后不同长度的点云数据编码成统一大小的隐藏编码向量;将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云。本发明直接基于点云数据的真实采样机制,能够有效地对点云格式数据进行编码,并从隐藏编码中解码出与编码前数据接近的点云,减少信息损失。

    自然场景中静态面部表情识别方法、装置、介质及设备

    公开(公告)号:CN111368663A

    公开(公告)日:2020-07-03

    申请号:CN202010115562.6

    申请日:2020-02-25

    Abstract: 本发明提供了一种自然场景中静态面部表情识别方法、装置、介质及设备;其中方法包括依次执行的预处理工序、全局特征提取工序、局部特征提取工序以及特征融合工序;预处理工序用于去除图片中自然场景的背景,只保留人脸区域;全局特征提取工序是指采用卷积神经网络提取预处理工序后的整张图片的特征,并转化为特征向量;局部特征提取工序是指通过目标检测方法提取图片最有信息量的局部区域,并转化为特征向量;特征融合工序是指将全局特征提取工序所提取的特征向量与局部特征提取工序所提取的特征向量整合成特征矩阵,然后经过全连接层和softmax,得到面部表情概率。本发明面部表情识别准确率高,识别效率高,具有良好的识别效果。

    一种具有人群偏向的虚拟现实场景评估方法、系统及介质

    公开(公告)号:CN111340686A

    公开(公告)日:2020-06-26

    申请号:CN202010101931.6

    申请日:2020-02-19

    Abstract: 本发明公开了一种具有人群偏向的虚拟现实场景评估方法、系统及介质,系统包括虚拟现实场景生成模块、路径自定义模块、三维空间到全景图序列的映射模块、具有人群偏向的显著性区域预测模块、显著性图序列到三维空间的映射模块以及带有不同用户特征下显著性预测结果的虚拟场景显示模块。本发明利用虚拟现实场景下的三维空间到全景图序列的映射与反向映射技术,解决了现有技术无法直接应用在虚拟现实场景中的问题。

    基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法

    公开(公告)号:CN109919948A

    公开(公告)日:2019-06-21

    申请号:CN201910141261.8

    申请日:2019-02-26

    Abstract: 本发明提供一种基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法,其中,分割方法包括以下步骤:I.将训练好的分割模型加载到卷积神经网络模型中;II.读取鼻咽癌MRI原始图像;III.对鼻咽癌MRI原始图像进行归一化,得到鼻咽癌MRI图像;IV.将鼻咽癌MRI图像输入卷积神经网络模型,得到鼻咽癌MRI图像的病灶概率图;V.将鼻咽癌MRI图像的病灶概率图进行二值化,得到病灶分割图。本发明还提供一种鼻咽癌病灶分割模型训练方法。本发明通过基于深度学习的鼻咽癌病灶分割模型训练方法得到的模型应用于病灶分割方法中,可有效解决鼻咽癌MRI图像中小图像分割导致效果不好的问题,从而提高目标小图像的分割效果,更加准确的自动分割鼻咽癌病灶。

    一种情绪刺激虚拟现实场景自动生成系统及方法

    公开(公告)号:CN109887095A

    公开(公告)日:2019-06-14

    申请号:CN201910055832.6

    申请日:2019-01-22

    Abstract: 本发明公开了一种情绪刺激虚拟现实场景自动生成系统,包含标签体系模块、素材库模块、人机交互模块、虚拟现实场景自动生成模块;所述标签体系模块用于对三维模型进行标签;所述素材库模块用于对三维模型和背景音乐提供素材;所述人机交互模型用于用户输入情绪和设定;所述虚拟现实场景自动生成模块用于根据人机交互模块输入的情绪和设定,结合素材库模块提供的素材及标签体系模块提供的标签,创符合情绪的建虚拟现实场景;本发明为搭建虚拟现实情绪刺激场景提供了一种新的途径,能够在短时间内生成大量具有不同情绪刺激效果的虚拟现实场景,操作简单便捷,节约人力资源和时间成本;还构建了标签化的素材库,在搭建过程更有利于用户的选择。

    基于深度学习的情感虚拟现实场景评估方法

    公开(公告)号:CN109871124A

    公开(公告)日:2019-06-11

    申请号:CN201910071652.7

    申请日:2019-01-25

    Abstract: 本发明涉及视频图像数据处理领域,具体为基于深度学习的情感虚拟现实场景评估方法,包括步骤:获取多种情绪类型的样本图像组成样本库并进行预处理;标准化虚拟现实场景中动态视觉的图像数据及待评估虚拟现实场景采集,在符合时长要求的虚拟现实场景中截取一系列图像,获取待评估的图像数据组成待评估样本库;利用预处理后的情绪刺激样本图像构建和训练深度神经网络模型;使用深度神经网络模型对待评估虚拟现实场景中采集的动态视觉图像进行评估,输出评估的情绪类型。该方法对每帧视频画面各个视角中包含特征的权重进行合理的分配,并综合考虑虚拟现实场景持续的时长,可充分在时间轴上对虚拟现实场景进行情绪触发评估。

Patent Agency Ranking