-
公开(公告)号:CN118887703A
公开(公告)日:2024-11-01
申请号:CN202411061423.4
申请日:2024-08-05
Applicant: 桂林电子科技大学
Abstract: 本发明公开了一种基于预训练模型的跨模态文本到行人图像检索方法及存储介质,本发明改进了掩蔽语言建模策略,使用全词掩码策略,能够更好的挖掘图像与文本之间的细粒度关系。并且运用文本的属性这一特征,利用交叉模态编码器进行文本与图像之间的融合交互,以此学习更多的信息,进一步还提供了一个基于软注意力模态融合模块,加入此模块可以促进相同语义类别间的模态信息交互,从而达到更好的检索性能。
-
公开(公告)号:CN114993286B
公开(公告)日:2024-04-12
申请号:CN202210533368.9
申请日:2022-05-13
Applicant: 桂林电子科技大学
Abstract: 本发明公开了一种基于图像、激光雷达与里程计的网格地图创建方法及装置,所述方法在采集信息阶段通过时间戳近似同步的方法将机器采集到的数据进行融合,提高信息间的关联性,在地图创建阶段根据采集图像的差异程度确定网格地图中每个网格的大小与网格内的角度区间,在保存地图信息时将采集到的图像数据通过卷积自编码器压缩为一维特征向量后与里程计信息并联存储,同时可以实现在需要查看图像信息时将特征向量信息复原为图像信息,在地图创建时使用分块更新的方法对创建出的地图轮廓进行实时更新。本发明和传统方法相比,具有存储空间占用少,地图创建速度快的优势,解决了传统网格地图中无法展示图像信息以及地图实时性较差的问题。
-
公开(公告)号:CN114993286A
公开(公告)日:2022-09-02
申请号:CN202210533368.9
申请日:2022-05-13
Applicant: 桂林电子科技大学
Abstract: 本发明公开了一种基于图像、激光雷达与里程计的网格地图创建方法及装置,所述方法在采集信息阶段通过时间戳近似同步的方法将机器采集到的数据进行融合,提高信息间的关联性,在地图创建阶段根据采集图像的差异程度确定网格地图中每个网格的大小与网格内的角度区间,在保存地图信息时将采集到的图像数据通过卷积自编码器压缩为一维特征向量后与里程计信息并联存储,同时可以实现在需要查看图像信息时将特征向量信息复原为图像信息,在地图创建时使用分块更新的方法对创建出的地图轮廓进行实时更新。本发明和传统方法相比,具有存储空间占用少,地图创建速度快的优势,解决了传统网格地图中无法展示图像信息以及地图实时性较差的问题。
-
公开(公告)号:CN112801151A
公开(公告)日:2021-05-14
申请号:CN202110060075.9
申请日:2021-01-18
Applicant: 桂林电子科技大学
IPC: G06K9/62
Abstract: 本发明公开了一种风电设备故障检测方法,本发明基于改进的BSMOTE‑Sequence风机故障采样策略,通过对BorderlineSMOTE进行改进而设计的一种风机数据集采样策略模型。BorderlineSMOTE在选择对哪些样本点进行合成时,第一步通过KNN算法选出K′个少数类近邻样本,第二步从这K′个样本中随机选择K″个样本。本发明是将第二步随机选择样本改进为根据时序特征来选择样本,该方式生成新样本综合考虑了空间距离、时序规律,能有效减少噪声点的生成,不仅解决了风机数据集的不平衡问题,而且并未破坏数据集的时序规律。此外,本发明还结合Tomek Links技术,可以有效地过滤数据集中的噪声样本、类间重叠样本,从而提高后续分类器训练的效率及准确率,避免模型过拟合。
-
公开(公告)号:CN117725510A
公开(公告)日:2024-03-19
申请号:CN202311852916.5
申请日:2023-12-29
Applicant: 桂林电子科技大学
IPC: G06F18/2415 , G06N3/0455 , G06N3/042 , G06N3/0464 , G06F18/25 , G06F18/22
Abstract: 本发明公开了一种基于Transformer和图注意力神经网络的工业多变量时间序列异常检测方法及存储介质,所述方法针对工业设备运行实际环境中的状态数据,首先经过数据预处理和滑动窗口方法。然后通过多尺度的Transformer模块来学习数据中不同尺度的特征表示,通过整合多个编码器的输出,使提取到的特征中蕴含更加丰富的时间表征信息。接着从空间维度出发,以特征变量为节点,通过图结构学习生成节点间边关系构建图结构数据,并利用图注意力神经网络来捕获节点间复杂的空间关系。最后构建了一个向量级的时空交互模块,使模型以更加细粒度的方式探索数据中的有效信息,从而可以精确的识别数据存在的微小偏差,提升整体检测性能,尤其是面对高复杂性数据时的检测性能。
-
公开(公告)号:CN114881210A
公开(公告)日:2022-08-09
申请号:CN202210481577.3
申请日:2022-05-05
Applicant: 桂林电子科技大学
Abstract: 本发明公开了一种基于可切换空洞卷积和GC‑BFP特征增强的行人检测方法及存储介质,所述方法通过摄像监控设备获得行人数据,经过行人检测模型的数据处理,输出检测数据。行人检测模型使用轻量级的卷积神经网络ShuffleNetV2可以降低模型计算量,提高模型速度,在ShuffleNetV2结构中融入可切换空洞卷积,帮助模型扩大并自适应选取感受野,且在模型多尺度特征融合后使用GC‑BFP特征增强模块,保证模型检测精度,进一步提高了行人检测的检测速度和精度。
-
公开(公告)号:CN112396167B
公开(公告)日:2022-07-15
申请号:CN202011603737.4
申请日:2020-12-30
Applicant: 桂林电子科技大学 , 中国科学院自动化研究所
Abstract: 本发明公开了一种外观相似度与空间位置信息融合的回环检测方法,包括步骤:将装有视觉传感器和定位系统的机器人置于场景中自由探索,同时采集图像与相应的空间坐标信息。通过以卷积神经网络为核心的孪生网络框架训练相似度计算模型。采用训练完成的模型将新采集的场景图像与已有图像进行相似度判别,相似度大于一定阈值时,则认为机器人曾经经过该场景。在判别为机器人经过该场景的情况下,计算两张场景图像对应空间坐标的水平距离差,若距离差小于一定阈值,则判定机器人经过的路径产生闭合环路。本方法从外观相似度与里程计两个方面同时进行约束,从而达到检测机器人移动路径中闭合环路的目的。
-
公开(公告)号:CN112163447A
公开(公告)日:2021-01-01
申请号:CN202010833267.4
申请日:2020-08-18
Applicant: 桂林电子科技大学 , 中国电子科技集团公司第五十四研究所
Abstract: 本发明公开了一种基于Attention和SqueezeNet的多任务实时手势检测和识别方法。所述方法采用数据增强技术扩增数据集以达到较好的识别效果,并通过人工标注制作新的手势数据集;将Attention融合到全卷积网络BlitzNet的ResSkip残差结构和分割分支中,使模型更关注目标手势,降低背景的干扰,识别效果更好,并用SqueezeNet网络中的前15层代替BlitzNet的ResNet‑50作为手势特征提取器,设计出新的手势检测和识别模型。新模型将多个视觉任务(如手势识别和手势分割)联合训练,并通过两个不同的子网络分别进行手势识别与手势分割,使得通过单一网络就可以同时解决手势识别和分割两个问题,检测速度较快且准确率较高。本发明的模型是一种参数少、准确率高、检测速度快等综合性能突出的手势检测和识别模型。
-
公开(公告)号:CN118520110A
公开(公告)日:2024-08-20
申请号:CN202410638530.2
申请日:2024-05-22
Applicant: 桂林电子科技大学
IPC: G06F16/35 , G06F40/295 , G06F40/30 , G06F40/211 , G06F18/241 , G06N3/0455 , G06N3/0442 , G06N3/042
Abstract: 本发明公开了一种基于中文抽象语义表示和指针网络的事件抽取方法,首先通过预训练模型BERT获取原始句子的嵌入矩阵;然后利用双向门控循环单元强化嵌入矩阵的语义特征;接着将中文抽象语义表示的信息矩阵与增强后的句嵌入矩阵一起输入图注意网络,以捕获论元之间的交互关系和依存信息;最后使用指针网络同时抽取触发词和论元,以识别重叠的角色和嵌套的论元,并将模型应用于目标数据集以完成事件抽取任务。本发明提供的事件抽取方法能够有效解决中文事件抽取中多个论元的交互关系未充分利用、依存句法信息和语义依存信息未综合考虑、事件角色重叠和论元嵌套以及数据样本较少情况下事件抽取效果较差等问题,具有较高的准确度和较好的泛化性。
-
公开(公告)号:CN115563316A
公开(公告)日:2023-01-03
申请号:CN202211322568.6
申请日:2022-10-27
Applicant: 桂林电子科技大学
IPC: G06F16/43 , G06F16/45 , G06F16/483
Abstract: 本发明提供了一种跨模态检索方法以及检索系统,所述检索方法包括:采用CLIP预训练模型对特征进行编码,获得包括原始图像以及文本的原始模态特征;将所述原始模态特征进行注意力对齐处理得到模态对齐数据以实现原始模态互相之间的语义相关;将上述步骤形成的所述模态数据通过权重共享的多层感知机以保持模态的不变性;利用Arc4cmr损失函数将最终得到的特征数据分布到归一化超球面上进行类别边界约束。本发明的跨模态检索方法使得成对的图像与文本的公共表示尽可能相近,实现同时增强类内紧性和类间差异性。
-
-
-
-
-
-
-
-
-