-
公开(公告)号:CN116823889A
公开(公告)日:2023-09-29
申请号:CN202310789300.1
申请日:2023-06-30
Applicant: 同济大学
IPC: G06T7/246 , G06V10/764 , G06V10/762 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于多不相连模式学习的行人轨迹预测方法,基于社交不相连模式生成对抗网络模型生成预测轨迹,使用编码器提取视觉特征与观测行人轨迹特征,基于注意力模块获取物理场景和社会注意力特征;采用社会注意力建立基于注意力标注的结构化图序列,并对结构化图序列通过时空编码器编码提取物理背景和行人移动的瞬态变化;将物理场景注意力、社会注意力以及时空编码器输出特征拼接输入多生成器架构,输出预测行人的未来轨迹;利用生成器选择器对多生成器进行先验学习,在先验学习的过程中采用谱轨迹聚类模块更新生成器数量上限。本发明相较现有技术能够捕捉时空信息的瞬态变化、减少模型冗余,并能灵活适应于多个预测场景。
-
公开(公告)号:CN116469170A
公开(公告)日:2023-07-21
申请号:CN202310441871.6
申请日:2023-04-23
Applicant: 同济大学
IPC: G06V40/20 , G06V10/774 , G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/0499 , G06N3/08
Abstract: 本发明提供了一种基于重组样本学习的人‑物交互动作识别方法,具有这样的特征,包括以下步骤:步骤S1,将待识别图像进行特征提取和编码,得到全局特征向量和位置编码向量;步骤S2,将全局特征向量、位置编码向量和查询向量组输入人‑物对解码器,得到人‑物对特征向量组;步骤S3,将全局特征向量、位置编码向量和人‑物对特征向量组输入交互动作解码器,得到交互动作特征向量组;步骤S4,将人‑物对特征向量组和交互动作特征向量组输入前馈神经网络,得到人‑物对预测和交互动作预测;步骤S5,根据人‑物对预测、交互动作预测和Ni类人‑物交互,得到识别结果。总之,本方法能够提高人‑物交互动作识别的精度。
-
公开(公告)号:CN116363749A
公开(公告)日:2023-06-30
申请号:CN202310242403.6
申请日:2023-03-14
Applicant: 同济大学
IPC: G06V40/20 , G06V10/74 , G06V10/764 , G06V10/766 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明提供了一种基于类别索引学习的人‑物交互分类方法,具有这样的特征,包括以下步骤:步骤S1,根据人‑物交互图像得到图像特征和人‑物交互实例特征;步骤S2,根据图像特征和类别索引得到更新后类别索引;步骤S3,根据更新后类别索引得到图像分类分数;步骤S4,根据图像分类分数得到实例分类分数;步骤S5‑S7,根据图像分类分数和实例分类分数得到人‑物交互图像的交互识别结果。总之,本方法能够提高人‑物交互分类的识别精度。
-
公开(公告)号:CN112329571B
公开(公告)日:2022-12-16
申请号:CN202011161979.2
申请日:2020-10-27
Applicant: 同济大学
IPC: G06V40/20 , G06V10/774 , G06V10/764
Abstract: 本发明涉及一种基于姿态质量评估的自适应人体姿态优化方法,包括以下步骤:S1:获取人体姿态优化训练数据和已有姿态质量评估训练数据;S2:利用姿态质量评估训练数据训练人体姿态质量评估网络,得到用于衡量已有人体姿态质量评估模型;S3:利用人体姿态优化训练数据训练人体姿态优化网络,得到人体姿态优化模型;S4:获取已有人体姿态,根据人体姿态质量评估模型的评估结果,利用人体姿态优化模型对质量不达标的已有人体姿态通过迭代进行姿态优化,直至优化后的人体姿态质量达标,输出该优化的人体姿态,与现有技术相比,本发明具有有效克服所获取的人体姿态质量差异性问题等优点。
-
公开(公告)号:CN113780129A
公开(公告)日:2021-12-10
申请号:CN202111009498.4
申请日:2021-08-31
Applicant: 同济大学
Abstract: 本发明涉及一种基于无监督图序列预测编码的动作识别方法及存储介质,其中,动作识别方法,包括模型的训练与使用,用于识别骨骼序列中的人体所进行的各种动作,旨在解决现有动作识别方法高度依赖大量的有标注数据,在仅有少量标注的情况下精度较低与现有无监督方法过拟合没有利用图的拓扑信息及严重泛化能力较差的问题。本系统方法包括对骨骼序列数据的视角不变变换、重采样与块级骨骼图数据增强;时空图卷积骨骼序列块嵌入表示提取;图卷积循环神经网络聚合上下文特征;预测编码构造正、负样本对;通过预训练模型提取特征利用分类器得到待识别骨骼序列对应的动作类别。与现有技术相比,本发明具有训练难度低、识别精度高、性能优异等优点。
-
公开(公告)号:CN113762082A
公开(公告)日:2021-12-07
申请号:CN202110908006.9
申请日:2021-08-09
Applicant: 同济大学
Abstract: 本发明涉及一种基于循环图卷积自动编码器的无监督骨架动作识别方法,其特征在于,包括:将人体骨架动作序列输入至循环图卷积编码器;循环图卷积编码器输出得到动作序列的表征向量;通过加权最近邻分类算法计算动作序列的表征向量得到人体骨架动作序列的识别类别;循环图卷积编码器包括:多层空间关节注意力模块,用于结合人体骨架动作序列和循环图卷积编码器的隐藏层,自适应衡量不同动作不同关节的重要性,得到加权的骨架序列;多层图卷积门控循环单元层,用于整合加权的骨架序列的连接关系特征,得到动作序列的表征向量。与现有技术相比,本发明可以显著提升无监督动作识别系统的识别精度,具有广阔的应用前景。
-
公开(公告)号:CN112328821A
公开(公告)日:2021-02-05
申请号:CN202011161024.7
申请日:2020-10-27
Applicant: 同济大学
IPC: G06F16/532 , G06F16/583 , G06F16/951 , G06T17/00
Abstract: 本发明涉及一种基于树型空间的三维树木模型匹配方法,包括以下步骤:S1:构建树木模型数据集,并获取树木手绘轮廓;S2:构建树型空间,并将树木手绘轮廓的点数据和树木模型数据集中三维树木模型的点数据统一映射到树型空间中;S3:计算树木手绘轮廓和树木模型数据集中三维树木模型的凸包;S4:基于扫描算子的网格化编码进行降维操作;S5:对树木手绘轮廓和树木模型数据集中的三维树木模型进行相似性计算,完成三维树木模型的匹配。与现有技术相比,本发明具有准确率高、有效提高三维树木模型大规模检索重用效率等优点。
-
公开(公告)号:CN118279978A
公开(公告)日:2024-07-02
申请号:CN202410235055.4
申请日:2024-03-01
Applicant: 同济大学
IPC: G06V40/20 , G06V10/42 , G06V10/44 , G06V10/764 , G06V10/82 , G06V10/80 , G06V20/70 , G06N3/045 , G06N3/0455 , G06N3/0499 , G06N3/084
Abstract: 本发明公开了基于特征增强重组样本学习的交互动作识别方法及系统,包括:识别过程中,采集一张待识别图像,通过特征提取网络和Transformer编码器提取全局特征,通过两个Transformer解码器分别提取得到人‑物特征和交互动作特征,生成人‑物交互预测;训练过程中,选取一对包含语义相似的物体类别的待识别图像,选取其与正确标签最匹配的预测对应的人‑物特征和交互动作特征,通过交互动作解码器融合为重组交互动作特征,并生成重组人‑物交互预测,将原始样本的人‑物交互正确标签重组为重组样本的正确标签,计算原始样本和重组样本的损失函数值,加权求和得到本批样本的损失函数值。本发明增强了重组交互动作特征的表征能力与可泛化性,促进了人‑物交互视觉特征的学习,提升了识别准确性,尤其对于样本数量极少的人‑物交互类别。
-
公开(公告)号:CN113656616B
公开(公告)日:2024-02-27
申请号:CN202110694949.6
申请日:2021-06-23
Applicant: 同济大学
IPC: G06F16/51 , G06T17/00 , G06N3/045 , G06N3/0464
Abstract: 本发明涉及一种基于异构孪生神经网络的三维模型草图检索方法,包括以下步骤:S1:获取三维模型训练数据和草图训练数据;S2:利用两个模态独立网络别提取草图和三维模型的深度特征;S3:用一个模态共享网络将模态独立网络学习到的草图特征和三维模型特征映射到共享特征空间中;S4:利用训练完成的模态独立网络和模态共享网络提取查询草图特征和三维模型库中三维模型特征,进行草图和三维模型特征相似度计算并排序,得到检索结果。与现有技术相比,本发明具有有效克服跨模态差异性,网络设计简单易复现,为后续方法提高简单基线等优点。
-
公开(公告)号:CN113780129B
公开(公告)日:2023-07-04
申请号:CN202111009498.4
申请日:2021-08-31
Applicant: 同济大学
IPC: G06V40/20 , G06V10/82 , G06N3/042 , G06N3/0464 , G06N3/044 , G06N3/08 , G06N3/048 , G06V10/764
Abstract: 本发明涉及一种基于无监督图序列预测编码的动作识别方法及存储介质,其中,动作识别方法,包括模型的训练与使用,用于识别骨骼序列中的人体所进行的各种动作,旨在解决现有动作识别方法高度依赖大量的有标注数据,在仅有少量标注的情况下精度较低与现有无监督方法过拟合没有利用图的拓扑信息及严重泛化能力较差的问题。本系统方法包括对骨骼序列数据的视角不变变换、重采样与块级骨骼图数据增强;时空图卷积骨骼序列块嵌入表示提取;图卷积循环神经网络聚合上下文特征;预测编码构造正、负样本对;通过预训练模型提取特征利用分类器得到待识别骨骼序列对应的动作类别。与现有技术相比,本发明具有训练难度低、识别精度高、性能优异等优点。
-
-
-
-
-
-
-
-
-