-
公开(公告)号：CN110457516A
公开(公告)日：2019-11-15
申请号：CN201910741822.8
申请日：2019-08-12
Applicant: 桂林电子科技大学
IPC: G06F16/583 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于栈式跨模态自编码器的跨模态图文检索方法，其主要目的是提高跨模态图文检索的精确度。首先，对图像和文本数据进行预处理，得到图像特征和文本特征，再通过两层受限玻尔兹曼机，提取单模态表示；其次，通过构建深层次的栈式跨模态自编码器，挖掘模态间的相关性；最终，训练模型并得到模型文件，在验证集上完成跨模态图文检索任务。本发明在实现了图文检索中常用的两种检索任务（以图检文和以文检图）的基础上，还能实现输入一种模态数据返回多种模态数据，在三个跨模态图文检索数据集上提升了模型检索精确度和泛化能力。
-
公开(公告)号：CN114168784B
公开(公告)日：2024-11-01
申请号：CN202111511008.0
申请日：2021-12-10
Applicant: 桂林电子科技大学
IPC: G06F16/583 , G06F16/33 , G06N3/045 , G06N3/0475 , G06N3/048 , G06N3/094 , G06N3/084
Abstract: 本发明公开了一种分层监督跨模态图文检索方法，所述的方法包括步骤如下：S1：构建用于提取图像特征和文本特征的特征提取网络；S2：利用特征提取网络提取图像和文本特征，分别得到图像和文本的初步高维特征值；S3：构建模态对抗网络，将图像和文本的初步高维特征值输入模态对抗网络进行对抗学习，使得含有相同语义的不同模态在公共空间中的距离最近；S4：构建哈希码生成网络，并利用哈希码生成网络约束特征提取网络的最后一层全连接层，使得通过最后一层全连接层的图像和文本的初步高维特征值，生成最优哈希码，实现对跨模态数据检索。本发明能实现对具有分层监督跨模态数据的检索，提升跨模态检索效率。
-
公开(公告)号：CN118747226A
公开(公告)日：2024-10-08
申请号：CN202410889007.7
申请日：2024-07-04
Applicant: 桂林电子科技大学
IPC: G06F16/532 , G06F16/583 , G06V10/40 , G06F18/213 , G06F18/22 , G06F16/332 , G06F16/383
Abstract: 本发明公开了一种目标级跨模态图文检索方法及存储介质，所述方法构建了图像‑目标信息成对数据，并在特征提取过程中将目标的位置信息集成到文本标题特征中，有效学习了图像中目标和文本的关联关系，提升了图文检索的准确性和可解释性；通过将跨模态鸿沟分布添加到图像特征中并结合鸿沟余弦损失函数最大化图像特征和目标特征的相似性，解决了图文数据的模态鸿沟问题；利用二次训练模块对错误检索数据进一步训练，获得训练完备的一种目标级跨模态图文检索模型，进一步提升了模型的性能。
-
公开(公告)号：CN117854108A
公开(公告)日：2024-04-09
申请号：CN202410024047.5
申请日：2024-01-08
Applicant: 桂林电子科技大学
IPC: G06V40/10 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种轻量化可实现多人全身关键点的检测方法以及装置，包括如下步骤：从MPII人体姿态数据集中获取脸部关键点、手部关键点以及脚部关键点的预测坐标，并将所述预测坐标与身体关键点坐标相结合形成真实标签，利用上述标记好的个人数据形成全身关键点检测数据集；将残差50卷积块注意力网络的前22层设计为全身关键点检测网络的主干网络，使其与N个轻量级强大的关键点检测子网络相结合形成全身关键点检测网络；然后将上述检测网络在所述全身关键点检测数据集上进行训练，并使用两种损失函数标签损失和蒸馏损失进行辅助训练，训练后的模型部署后进行实时检测和识别。本发明的检测方法具有高准确度、低参数量的检测性能。
-
公开(公告)号：CN112801151B
公开(公告)日：2022-04-12
申请号：CN202110060075.9
申请日：2021-01-18
Applicant: 桂林电子科技大学
IPC: G06K9/62
Abstract: 本发明公开了一种风电设备故障检测方法，本发明基于改进的BSMOTE‑Sequence风机故障采样策略，通过对BorderlineSMOTE进行改进而设计的一种风机数据集采样策略模型。BorderlineSMOTE在选择对哪些样本点进行合成时，第一步通过KNN算法选出K′个少数类近邻样本，第二步从这K′个样本中随机选择K″个样本。本发明是将第二步随机选择样本改进为根据时序特征来选择样本，该方式生成新样本综合考虑了空间距离、时序规律，能有效减少噪声点的生成，不仅解决了风机数据集的不平衡问题，而且并未破坏数据集的时序规律。此外，本发明还结合Tomek Links技术，可以有效地过滤数据集中的噪声样本、类间重叠样本，从而提高后续分类器训练的效率及准确率，避免模型过拟合。
-
Patent Agency Ranking
公开(公告)号：CN112163447B
公开(公告)日：2022-04-08
申请号：CN202010833267.4
申请日：2020-08-18
Applicant: 桂林电子科技大学 , 中国电子科技集团公司第五十四研究所
Abstract: 本发明公开了一种基于Attention和SqueezeNet的多任务实时手势检测和识别方法。所述方法采用数据增强技术扩增数据集以达到较好的识别效果，并通过人工标注制作新的手势数据集；将Attention融合到全卷积网络BlitzNet的ResSkip残差结构和分割分支中，使模型更关注目标手势，降低背景的干扰，识别效果更好，并用SqueezeNet网络中的前15层代替BlitzNet的ResNet‑50作为手势特征提取器，设计出新的手势检测和识别模型。新模型将多个视觉任务（如手势识别和手势分割）联合训练，并通过两个不同的子网络分别进行手势识别与手势分割，使得通过单一网络就可以同时解决手势识别和分割两个问题，检测速度较快且准确率较高。本发明的模型是一种参数少、准确率高、检测速度快等综合性能突出的手势检测和识别模型。
-
公开(公告)号：CN118708675A
公开(公告)日：2024-09-27
申请号：CN202410742517.1
申请日：2024-06-11
Applicant: 桂林电子科技大学
Abstract: 本发明公开了一种基于空间预测型视觉语言预训练模型的跨模态图文检索方法及存储介质，所述方法通过将局部语义预测视觉空间位置引入到视觉语言预训练模型中，使预训练模型能够学习到更有效的高级语义，有效提升下游跨模态图文检索任务的性能；利用基于空间预测型视觉语言预训练模型对下游图文检索数据进行特征提取，构建四元组损失函数并执行有监督跨模态图文检索；利用四元组构造模块挖掘与正样本具有强语义关联假负例样本，减少了假负例样本对图文检索的影响。
-
公开(公告)号：CN117994813A
公开(公告)日：2024-05-07
申请号：CN202410019578.5
申请日：2024-01-05
Applicant: 桂林电子科技大学
Abstract: 本发明公开了一种无人机图像中的二维人体关键点检测方法，所述方法首先以无人机图像数据为基础，采用了一种Mosaic数据增强方法；另外，在backbone中采用了稠密连接结构。其次，构建了一个双向特征提取模块，用于直接从俯拍视角的图片中直接获取各种空间视角的人体姿态，进行全方位人体姿态估计，引入Swish激活函数，缓解梯度消失的情况，以满足在无人机图片中对多角度的小目标人体进行精确姿态估计的目的。
-
公开(公告)号：CN114168784A
公开(公告)日：2022-03-11
申请号：CN202111511008.0
申请日：2021-12-10
Applicant: 桂林电子科技大学
IPC: G06F16/583 , G06F16/33 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种分层监督跨模态图文检索方法，所述的方法包括步骤如下：S1：构建用于提取图像特征和文本特征的特征提取网络；S2：利用特征提取网络提取图像和文本特征，分别得到图像和文本的初步高维特征值；S3：构建模态对抗网络，将图像和文本的初步高维特征值输入模态对抗网络进行对抗学习，使得含有相同语义的不同模态在公共空间中的距离最近；S4：构建哈希码生成网络，并利用哈希码生成网络约束特征提取网络的最后一层全连接层，使得通过最后一层全连接层的图像和文本的初步高维特征值，生成最优哈希码，实现对跨模态数据检索。本发明能实现对具有分层监督跨模态数据的检索，提升跨模态检索效率。
-
公开(公告)号：CN112396167A
公开(公告)日：2021-02-23
申请号：CN202011603737.4
申请日：2020-12-30
Applicant: 桂林电子科技大学 , 中国科学院自动化研究所
Abstract: 本发明公开了一种外观相似度与空间位置信息融合的回环检测方法，包括步骤：将装有视觉传感器和定位系统的机器人置于场景中自由探索，同时采集图像与相应的空间坐标信息。通过以卷积神经网络为核心的孪生网络框架训练相似度计算模型。采用训练完成的模型将新采集的场景图像与已有图像进行相似度判别，相似度大于一定阈值时，则认为机器人曾经经过该场景。在判别为机器人经过该场景的情况下，计算两张场景图像对应空间坐标的水平距离差，若距离差小于一定阈值，则判定机器人经过的路径产生闭合环路。本方法从外观相似度与里程计两个方面同时进行约束，从而达到检测机器人移动路径中闭合环路的目的。
-
-
-
-
-
-
-
-
-
Search Results
21
records
(took 0.019 seconds)
