-
公开(公告)号:CN118297164B
公开(公告)日:2024-12-20
申请号:CN202410525056.2
申请日:2024-04-29
Applicant: 西南交通大学
Abstract: 本申请的实施例提供了一种跨模态因果推理方法、装置、存储介质及电子设备,涉及因果推理技术领域,所述方法包括:对原始样本进行干预操作,得到干预样本;利用预训练模型分别提取所述原始样本、所述干预样本以及目标样本的特征;将混淆因子与所述目标样本的特征进行加权处理,得到混淆因子加权特征;基于所述原始样本的特征、所述干预样本的特征以及所述混淆因子加权特征进行特征拼接处理以及特征融合处理,计算得到所述目标样本的平均因果效应值;获取多个目标样本的平均因果效应值,并基于多个目标样本的平均因果效应值确认出与所述原始样本存在因果关系的目标样本。本申请技术方案,提高了交互表征的准确性和因果评估的可靠性。
-
公开(公告)号:CN118587332B
公开(公告)日:2025-03-11
申请号:CN202410638777.4
申请日:2024-05-22
Applicant: 西南交通大学
IPC: G06T13/40 , G06T3/4007 , G06T3/4046 , G06T3/60 , G06T5/70 , G06N3/04 , G06N3/084 , G06T17/00
Abstract: 本发明涉及计算机视觉技术领域,公开了一种基于姿势变换的人体网格重建方法,通过神经网络从初始姿势到目标姿势的姿势变换。本发明解决了现有技术存在的准确性低等问题。
-
-
公开(公告)号:CN117789294A
公开(公告)日:2024-03-29
申请号:CN202311744217.9
申请日:2023-12-18
Applicant: 西南交通大学
IPC: G06V40/20 , G06V20/40 , G06V10/764 , G06V10/77 , G06V10/80 , G06V10/42 , G06V10/44 , G06V10/62 , G06N3/0455
Abstract: 本发明公开了一种基于场景图信息精炼与压缩的人物物交互动作检测方法,包括S1:获取待检测视频,提取待检测视频的帧图像数据;S2:根据帧图像数据,利用场景图生成算法,生成场景图结构,获取场景图特征;S3:基于场景图特征进行双分支人物物交互特征提取;S4:基于场景图特征进行长期时空特征提取;S5:根据得到的两个分支的特征以及提取的长期时空特征,进行特征融合操作,并输入到分类器中进行分类。本发明通过双分支人物物交互动作检测,提高了在交互物体被遮挡时人物物交互行为检测的准确率。
-
公开(公告)号:CN113869349A
公开(公告)日:2021-12-31
申请号:CN202110892487.9
申请日:2021-08-04
Applicant: 西南交通大学
Abstract: 本发明涉及图像问答技术领域,尤其涉及基于层次多任务学习的示意图问答方法,包括如下步骤:S1、对训练图像,预训练目标检测器检测图像成分,进行位置编码和视觉特征提取;S2、对训练集图像,区域特征序列作为图解析模块的输入,预测成分和成分之间的关系;S3、对训练集问题和备选答案,组成陈述句后进行词例化处理并提取语言特征,得到备选答案和问题组成的语言序列;S4、对训练集,将图解析模块的输出与语言序列拼接输入问答模块,训练网络参数;S5、对测试集图像,将图与问题、备选答案编码组成区域特征序列和语言序列。本发明将图解析模块和问答模块联合在一起,利用多层次的任务来训练,实现了基于解析和问答两个层次的多任务学习框架。
-
公开(公告)号:CN118297164A
公开(公告)日:2024-07-05
申请号:CN202410525056.2
申请日:2024-04-29
Applicant: 西南交通大学
Abstract: 本申请的实施例提供了一种跨模态因果推理方法、装置、存储介质及电子设备,涉及因果推理技术领域,所述方法包括:对原始样本进行干预操作,得到干预样本;利用预训练模型分别提取所述原始样本、所述干预样本以及目标样本的特征;将混淆因子与所述目标样本的特征进行加权处理,得到混淆因子加权特征;基于所述原始样本的特征、所述干预样本的特征以及所述混淆因子加权特征进行特征拼接处理以及特征融合处理,计算得到所述目标样本的平均因果效应值;获取多个目标样本的平均因果效应值,并基于多个目标样本的平均因果效应值确认出与所述原始样本存在因果关系的目标样本。本申请技术方案,提高了交互表征的准确性和因果评估的可靠性。
-
公开(公告)号:CN113869349B
公开(公告)日:2022-10-14
申请号:CN202110892487.9
申请日:2021-08-04
Applicant: 西南交通大学
IPC: G06V10/774 , G06V10/46 , G06V10/82 , G06F40/35 , G06F40/284 , G06N3/04 , G06N3/08
Abstract: 本发明涉及图像问答技术领域,尤其涉及基于层次多任务学习的示意图问答方法,包括如下步骤:S1、对训练图像,预训练目标检测器检测图像成分,进行位置编码和视觉特征提取;S2、对训练集图像,区域特征序列作为图解析模块的输入,预测成分和成分之间的关系;S3、对训练集问题和备选答案,组成陈述句后进行词例化处理并提取语言特征,得到备选答案和问题组成的语言序列;S4、对训练集,将图解析模块的输出与语言序列拼接输入问答模块,训练网络参数;S5、对测试集图像,将图与问题、备选答案编码组成区域特征序列和语言序列。本发明将图解析模块和问答模块联合在一起,利用多层次的任务来训练,实现了基于解析和问答两个层次的多任务学习框架。
-
公开(公告)号:CN118587332A
公开(公告)日:2024-09-03
申请号:CN202410638777.4
申请日:2024-05-22
Applicant: 西南交通大学
IPC: G06T13/40 , G06T3/4007 , G06T3/4046 , G06T3/60 , G06T5/70 , G06N3/04 , G06N3/084 , G06T17/00
Abstract: 本发明涉及计算机视觉技术领域,公开了一种基于姿势变换的人体网格重建方法,通过神经网络从初始姿势到目标姿势的姿势变换。本发明解决了现有技术存在的准确性低等问题。
-
公开(公告)号:CN115984966B
公开(公告)日:2023-10-13
申请号:CN202310005121.4
申请日:2023-01-03
Applicant: 西南交通大学
IPC: G06V40/20 , G06V20/40 , G06V10/62 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/049 , G06N3/0464
Abstract: 本发明提供了一种基于特征精炼与多视图的人物物交互动作检测方法,包括S1:对待检测的视频帧进行实体时序特征提取,获取实体时序特征;S2:对实体时序特征进行精练,获得精练后的实体时序特征;S3:基于精炼的实体时序特征,获取以人为中心的交互动作建模模型;S4:采用以人为中心的交互动作建模模型,构建和融合多组多视图人物物交互动作特征,获得人物物交互动作分类特征;S5:通过动作分类器对人物物交互动作进行分类。提高了时序特征表征的准确性,增强了人物物交互动作表征的鲁棒性并且解决了视频流中人物物交互动作检测的问题。
-
公开(公告)号:CN115984966A
公开(公告)日:2023-04-18
申请号:CN202310005121.4
申请日:2023-01-03
Applicant: 西南交通大学
IPC: G06V40/20 , G06V20/40 , G06V10/62 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/049 , G06N3/0464
Abstract: 本发明提供了一种基于特征精炼与多视图的人物物交互动作检测方法,包括S1:对待检测的视频帧进行实体时序特征提取,获取实体时序特征;S2:对实体时序特征进行精练,获得精练后的实体时序特征;S3:基于精炼的实体时序特征,获取以人为中心的交互动作建模模型;S4:采用以人为中心的交互动作建模模型,构建和融合多组多视图人物物交互动作特征,获得人物物交互动作分类特征;S5:通过动作分类器对人物物交互动作进行分类。提高了时序特征表征的准确性,增强了人物物交互动作表征的鲁棒性并且解决了视频流中人物物交互动作检测的问题。
-
-
-
-
-
-
-
-
-