-
公开(公告)号:CN112396167B
公开(公告)日:2022-07-15
申请号:CN202011603737.4
申请日:2020-12-30
Applicant: 桂林电子科技大学 , 中国科学院自动化研究所
Abstract: 本发明公开了一种外观相似度与空间位置信息融合的回环检测方法,包括步骤:将装有视觉传感器和定位系统的机器人置于场景中自由探索,同时采集图像与相应的空间坐标信息。通过以卷积神经网络为核心的孪生网络框架训练相似度计算模型。采用训练完成的模型将新采集的场景图像与已有图像进行相似度判别,相似度大于一定阈值时,则认为机器人曾经经过该场景。在判别为机器人经过该场景的情况下,计算两张场景图像对应空间坐标的水平距离差,若距离差小于一定阈值,则判定机器人经过的路径产生闭合环路。本方法从外观相似度与里程计两个方面同时进行约束,从而达到检测机器人移动路径中闭合环路的目的。
-
公开(公告)号:CN112561824B
公开(公告)日:2023-04-07
申请号:CN202011519696.0
申请日:2020-12-21
Applicant: 中国科学院自动化研究所 , 桂林电子科技大学
Abstract: 本发明涉及一种2D激光与深度图像融合的数据对齐修复方法及系统,所述数据对齐修复方法包括:提取在相同时刻对相同目标采集的2D激光数据和深度图像数据;确定在2D激光数据与深度图像数据中相似度值最高的序列数据;根据相似度值最高的序列数据,确定所述序列数据中的空洞区域和/或毛刺区域,并基于所述序列数据修复空洞区域和/或毛刺区域。本发明基于时间戳提取相同时刻2D激光数据和深度图像数据,筛选出相似度值最高的序列数据,利用序列数据的相关性将有效序列的变化趋势移植到另一模态的无效数据区间,得到新的修复序列,修复的序列能够增强2D激光地图和深度图像的可视化效果,使两种传感器数据得以互相弥补。
-
公开(公告)号:CN112561824A
公开(公告)日:2021-03-26
申请号:CN202011519696.0
申请日:2020-12-21
Applicant: 中国科学院自动化研究所 , 桂林电子科技大学
Abstract: 本发明涉及一种2D激光与深度图像融合的数据对齐修复方法及系统,所述数据对齐修复方法包括:提取在相同时刻对相同目标采集的2D激光数据和深度图像数据;确定在2D激光数据与深度图像数据中相似度值最高的序列数据;根据相似度值最高的序列数据,确定所述序列数据中的空洞区域和/或毛刺区域,并基于所述序列数据修复空洞区域和/或毛刺区域。本发明基于时间戳提取相同时刻2D激光数据和深度图像数据,筛选出相似度值最高的序列数据,利用序列数据的相关性将有效序列的变化趋势移植到另一模态的无效数据区间,得到新的修复序列,修复的序列能够增强2D激光地图和深度图像的可视化效果,使两种传感器数据得以互相弥补。
-
公开(公告)号:CN112396167A
公开(公告)日:2021-02-23
申请号:CN202011603737.4
申请日:2020-12-30
Applicant: 桂林电子科技大学 , 中国科学院自动化研究所
Abstract: 本发明公开了一种外观相似度与空间位置信息融合的回环检测方法,包括步骤:将装有视觉传感器和定位系统的机器人置于场景中自由探索,同时采集图像与相应的空间坐标信息。通过以卷积神经网络为核心的孪生网络框架训练相似度计算模型。采用训练完成的模型将新采集的场景图像与已有图像进行相似度判别,相似度大于一定阈值时,则认为机器人曾经经过该场景。在判别为机器人经过该场景的情况下,计算两张场景图像对应空间坐标的水平距离差,若距离差小于一定阈值,则判定机器人经过的路径产生闭合环路。本方法从外观相似度与里程计两个方面同时进行约束,从而达到检测机器人移动路径中闭合环路的目的。
-
公开(公告)号:CN114168784B
公开(公告)日:2024-11-01
申请号:CN202111511008.0
申请日:2021-12-10
Applicant: 桂林电子科技大学
IPC: G06F16/583 , G06F16/33 , G06N3/045 , G06N3/0475 , G06N3/048 , G06N3/094 , G06N3/084
Abstract: 本发明公开了一种分层监督跨模态图文检索方法,所述的方法包括步骤如下:S1:构建用于提取图像特征和文本特征的特征提取网络;S2:利用特征提取网络提取图像和文本特征,分别得到图像和文本的初步高维特征值;S3:构建模态对抗网络,将图像和文本的初步高维特征值输入模态对抗网络进行对抗学习,使得含有相同语义的不同模态在公共空间中的距离最近;S4:构建哈希码生成网络,并利用哈希码生成网络约束特征提取网络的最后一层全连接层,使得通过最后一层全连接层的图像和文本的初步高维特征值,生成最优哈希码,实现对跨模态数据检索。本发明能实现对具有分层监督跨模态数据的检索,提升跨模态检索效率。
-
公开(公告)号:CN118747226A
公开(公告)日:2024-10-08
申请号:CN202410889007.7
申请日:2024-07-04
Applicant: 桂林电子科技大学
IPC: G06F16/532 , G06F16/583 , G06V10/40 , G06F18/213 , G06F18/22 , G06F16/332 , G06F16/383
Abstract: 本发明公开了一种目标级跨模态图文检索方法及存储介质,所述方法构建了图像‑目标信息成对数据,并在特征提取过程中将目标的位置信息集成到文本标题特征中,有效学习了图像中目标和文本的关联关系,提升了图文检索的准确性和可解释性;通过将跨模态鸿沟分布添加到图像特征中并结合鸿沟余弦损失函数最大化图像特征和目标特征的相似性,解决了图文数据的模态鸿沟问题;利用二次训练模块对错误检索数据进一步训练,获得训练完备的一种目标级跨模态图文检索模型,进一步提升了模型的性能。
-
公开(公告)号:CN114861601B
公开(公告)日:2024-04-12
申请号:CN202210473365.0
申请日:2022-04-29
Applicant: 桂林电子科技大学 , 中国电子科技集团公司第五十四研究所
IPC: G06F40/126 , G06F40/289 , G06F40/30 , G06N3/045 , G06N3/0442 , G06N3/094
Abstract: 本发明公开了一种基于旋转式编码的事件联合抽取方法,所述方法使用了融合旋转式编码的BERT模型解决文本过长无法全部放入预训练模型提取特征的手段;以及使用了加入自注意力机制的BiLSTM捕获相关的时序特征和上下文关系,从多角度获得文本中字符间关联权重表示来更准确地关注句子中的重要字符或单词,丰富文本的语义信息的手段;还有在模型训练过程中通过对抗训练加入扰动提升文本语义多样性,提高模型的鲁棒性和泛化能力的手段;通过上述三个方面提高了事件抽取的准确率和召回率。
-
公开(公告)号:CN117854108A
公开(公告)日:2024-04-09
申请号:CN202410024047.5
申请日:2024-01-08
Applicant: 桂林电子科技大学
IPC: G06V40/10 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种轻量化可实现多人全身关键点的检测方法以及装置,包括如下步骤:从MPII人体姿态数据集中获取脸部关键点、手部关键点以及脚部关键点的预测坐标,并将所述预测坐标与身体关键点坐标相结合形成真实标签,利用上述标记好的个人数据形成全身关键点检测数据集;将残差50卷积块注意力网络的前22层设计为全身关键点检测网络的主干网络,使其与N个轻量级强大的关键点检测子网络相结合形成全身关键点检测网络;然后将上述检测网络在所述全身关键点检测数据集上进行训练,并使用两种损失函数标签损失和蒸馏损失进行辅助训练,训练后的模型部署后进行实时检测和识别。本发明的检测方法具有高准确度、低参数量的检测性能。
-
公开(公告)号:CN114925252B
公开(公告)日:2024-03-19
申请号:CN202210605798.7
申请日:2022-05-31
Applicant: 桂林电子科技大学
IPC: G06F16/9035 , G06F16/901 , B25J11/00
Abstract: 本发明公开了一种基于邻域的笔画推荐方法中的笔画推荐方法,包括按照传统书法理论将待书写的汉字拆分成对应字体结构并识别对应结构区域中的偏旁部首。依照对应区域序号依次选取笔画,按基于邻域的笔画推荐方法进行计算。按照相似度分数由高到低的顺序,依次判断得到的N个笔画与该汉字的标准字体中相应笔画的重合程度,判断该笔画是否与待书写的汉字匹配。若不匹配选择相似度高的其他笔画重新计算;若匹配的话将该笔画推荐给书法机械臂,并将新得到的数据加入已有的汉字‑笔画关系矩阵中。采用该技术方案可达到合理地执行智能机械臂书写中的构字过程这一目的,并在此基础上不断提高智能书法机械臂的写字效果。
-
公开(公告)号:CN114692341B
公开(公告)日:2024-03-19
申请号:CN202210430157.2
申请日:2022-04-22
Applicant: 桂林电子科技大学
IPC: G06F30/17 , G06F30/27 , G06N3/0442 , G06N3/08 , G06F113/06 , G06F119/06 , G06F119/08
Abstract: 本发明公开了一种基于融合时空图ConvLSTM模型的风机故障预测方法及存储介质,所述方法包括以风电机组工况参数、环境参数和状态参数构成的风机数据集,并通过融合时空图ConvLSTM模型处理后输入到风机故障检测模型中,得到预测结果。本发明针对风机实际环境中的运行数据,首先经过数据预处理和特征工程,然后从风机运行数据的时间和空间两个维度出发,将原始的一维数据转化为二维时空图数据,增强数据对空间关系的表征能力。在所构建的时空图模型基础之上,搭建可适应于二维时空图数据的ConvLSTM模型架构,将二维时空图构建模型与ConvLSTM预测模型深度融合,经过模型的优化训练,有效提升风机在未来一段时间内运行数据的预测准确率,进而提高风机故障预测的准确率。
-
-
-
-
-
-
-
-
-