-
公开(公告)号：CN119312153A
公开(公告)日：2025-01-14
申请号：CN202411145262.7
申请日：2024-08-20
Applicant: 华南理工大学
IPC: G06F18/241 , G06F18/25 , G06V40/16 , G06N3/0895 , G06N3/0464 , G06N3/0455
Abstract: 本发明公开了一种基于半监督学习的多模态交互情感分析方法。所述方法首先对语音、文本及视觉模态进行特征提取，接着通过模态内、模态间两大交互分支网络进行特征融合，最后基于门控机制自适应提取两大交互分支的融合信息，其中，模态内、模态间交互网络基于transformer的编码器结构，所不同的是多头自注意力层引入了所提出的注意力掩码机制；训练方法上，以半监督学习的方式，生成伪标签辅助模型稳定训练，减少了对标签数据的依赖。本发明解决了多模态情感分析领域存在的人工标注成本高昂以及如何挖掘有效交互信息的问题，提高了情感识别精度。
-
公开(公告)号：CN116563605B
公开(公告)日：2024-09-06
申请号：CN202310375040.3
申请日：2023-04-10
Applicant: 华南理工大学
IPC: G06V10/764 , G06T7/73 , G06V10/82 , G06V10/42 , G06V10/46 , G06V10/80 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于TED‑Net的非接触人‑物交互检测方法，包括以下步骤：对输入图像进行数据增强；通过卷积神经网络进行视觉特征提取，获取人‑物视觉特征；通过图像压缩技术获取特征图的压缩特征；获取基于编码器的全局特征编码；通过公共的查询矩阵获取三个查询向量分别表示人、物、交互关系，引入配对信息；融合编码后的特征构建三流解码器获取人的位置信息、物的位置信息及物体类别、交互类别，实现人物交互检测。本发明利用人‑物细粒度特征关注人‑物周围环境提供的有效信息，捕获非接触交互信息，在人物交互检测问题上，进一步提高了人物交互检测的精度。
-
公开(公告)号：CN117671133A
公开(公告)日：2024-03-08
申请号：CN202311462219.9
申请日：2023-11-06
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于单目RGB图像去遮挡下的双手3D重建方法，包括：使用双手分离框架对输入图片进行双手关键点检测和分割，针对分割出的左、右手3D图像分别进行MANO模型参数估计，并通过双手之间的相对位置关系将两个手部模型放入同一个坐标系下，生成双手参数化模型；利用双手参数化模型作为先验信息，在已知视图对应相机内参的情况下，使用对应关键点相对位置转换方法获得每个视图所对应的相机外参；采用高效率神经辐射场渲染采样点采集策略；将取样点坐标与视图方向输入到神经辐射场中进行训练，对网络参数进行优化,生成新的视角的渲染图像，且与输入图像一致。本方法能准确保留重建，提供一种完善连贯的三维模型。
-
公开(公告)号：CN119840653A
公开(公告)日：2025-04-18
申请号：CN202411674982.2
申请日：2024-11-21
Applicant: 华南理工大学
Abstract: 本发明公开一种自动驾驶决策方法、系统、装置及介质。所述方法包括步骤：获取多模态信息，通过液态嵌入技术将多模态信息编码成统一的场景表示，并通过体渲染将多模态信息可视化为一体；通过液体时间常数神经网络LTC实时估计场参数，以动态更新场信息，其中，所述液体时间常数神经网络LTC中引入循环神经网络RNN以使网络在处理不同的任务和时序数据时动态地适应内部状态和权重；基于实时更新的场信息，规划并优化车辆的行驶路径；行驶中对环境进行实时感知和理解，并提取环境信息；将实时感知到的环境信息与规划优化后的行驶路径进行匹配，以确定实际行驶中所应采取的动作。本发明能够有效地处理多模态信息，实现实时决策和高效路径规划。
-
Patent Agency Ranking
公开(公告)号：CN118607594A
公开(公告)日：2024-09-06
申请号：CN202410530741.4
申请日：2024-04-29
Applicant: 华南理工大学
IPC: G06N3/0464 , G06V10/44
Abstract: 本发明公开的一种基于互信息的空洞卷积自适应调节方法，包括：构建自适应空洞卷积网络，所述自适应空洞卷积网络包括至少一个block单元，每个block单元包括卷积选择单元和空洞卷积网络；通过卷积选择单元的SoftMax单元得到各种空洞卷积核的置信度，选取置信度最高的作为输出，将输出作为空洞卷积网络的主路卷积层使用的空洞卷积核，进行卷积操作，得到特征图向量；构建用于训练的损失函数；空洞卷积核分类网络以损失函数进行训练，训练完成后直接根据输入的原始图输出多种可能的空洞卷积核，经过softmax单元后输出最优的扩张率。将本发明能够提高特征提取效率以及信息获取量。
-
公开(公告)号：CN117047329A
公开(公告)日：2023-11-14
申请号：CN202310880267.3
申请日：2023-07-17
Applicant: 华南理工大学
IPC: B23K26/70 , B23K26/362 , G06T7/13 , G06T7/00
Abstract: 本发明公开了一种轮廓平行等高线路径自适应生成方法、装置及介质，属于计算机技术领域。其中方法包括：S1、获取待打标物体的轮廓；S2、采用等时间间距取点的方式获取轮廓的连续点坐标；S3、使用不规则封闭曲线缩进算法对轮廓上的坐标点进行特定间距缩进或外扩；S4、使用交叉点判断与删除算法对缺陷点进行删除；S5、使用三次样条曲线插值算法对剩余点进行插值至起始点数量；S6、重复步骤S2‑S5，直到点之间最远间距小于曲线间距，或外轮廓缩进曲线与内轮廓产生交点。本发明提供一种从数据采集到路径生成一体化解决方案，改善传统算法打标路径混乱、打标路径无法针对特定形状进行平滑处理等缺点。
-
公开(公告)号：CN118690115A
公开(公告)日：2024-09-24
申请号：CN202410783729.4
申请日：2024-06-18
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于FPGA中高性能计算架构的通用定点矩阵乘法器的实现方法、装置及介质，其中方法包括：基于Versal ACAP平台的AI引擎阵列资源的并行性，设计不同层次的矩阵分块策略；基于AI引擎和AXI流的数据包流和数据包交换的数据调度和复用，通过矩阵分块乘法加速内核，设计数据调度和复用策略；在AI引擎向量处理器上实现高吞吐量向量化的矩阵乘法运算的流水线。本发明基于Versal ACAP平台的AXI流传输协议和AI引擎阵列实现了矩阵乘法的多层次分块，使矩阵乘法可以高效利用硬件资源有效提高数据复用率并且实现较高的并行度，在AI引擎的高速时钟下实现较高的运算速度。本发明可广泛应用于高性能计算领域。
-
公开(公告)号：CN117373111A
公开(公告)日：2024-01-09
申请号：CN202311180607.8
申请日：2023-09-13
Applicant: 华南理工大学
IPC: G06V40/20 , G06V40/10 , G06V10/44 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于AutoHOINet的人‑物交互检测方法，包括以下步骤：从待检测图像中获得其视觉模态向量；通过候选图像构建模块，提取待检测图像中的人物对象和物体对象，并对其进行重构，生成候选图像；利用人物潜在关系挖掘模块，进行人物关联分析和潜在关系挖掘，发现人物对象和物体对象之间各种潜在交互关系；借助人物关系推理模块，从潜在关系中筛选出目标关系，生成伪标签，指导HOI模型的学习过程；最后利用生成的伪标签，引导HOI模型的学习，从而实现对人物交互的检测。本发明能够在无需使用人工标注的HOI标签数据和弱监督情况下，在两个基准数据集上均优于当前使用图像级交互标签的弱监督HOI模型。
-
公开(公告)号：CN116563605A
公开(公告)日：2023-08-08
申请号：CN202310375040.3
申请日：2023-04-10
Applicant: 华南理工大学
IPC: G06V10/764 , G06T7/73 , G06V10/82 , G06V10/42 , G06V10/46 , G06V10/80 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于TED‑Net的非接触人‑物交互检测方法，包括以下步骤：对输入图像进行数据增强；通过卷积神经网络进行视觉特征提取，获取人‑物视觉特征；通过图像压缩技术获取特征图的压缩特征；获取基于编码器的全局特征编码；通过公共的查询矩阵获取三个查询向量分别表示人、物、交互关系，引入配对信息；融合编码后的特征构建三流解码器获取人的位置信息、物的位置信息及物体类别、交互类别，实现人物交互检测。本发明利用人‑物细粒度特征关注人‑物周围环境提供的有效信息，捕获非接触交互信息，在人物交互检测问题上，进一步提高了人物交互检测的精度。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.02 seconds)
