-
公开(公告)号:CN118015282B
公开(公告)日:2024-11-05
申请号:CN202410311121.1
申请日:2024-03-19
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V10/26 , G06V20/70 , G06T7/194 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/764 , G06V10/762 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/0895 , G06N3/048
Abstract: 本发明涉及数据处理技术领域,具体涉及一种基于背景先验的弱监督语义分割方法,包括:将仅带有图像级标签的特定数据集输入背景聚类算法中根据像素值进行背景聚类,得到聚类掩码图;将数据集输入到在自然图像上经过预训练的SAM模型中进行推理,得到预训练掩码图;通过分割结果融合模块将聚类掩码图和预训练掩码图进行基于IOU的掩码融合,生成背景掩码图;利用多个串行的多尺度拼接卷积块,实现数据集特征的塔式提取,生成分类特征图;将背景掩码图对分类特征图中的前景和背景进行区分;将前景输入到分类器进行分类操作,并进行视觉可视化;本发明解决了现有的语义分割技术中分割标签难以获得和弱监督分割效果不佳的问题。
-
公开(公告)号:CN119206568A
公开(公告)日:2024-12-27
申请号:CN202411238187.9
申请日:2024-09-05
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V20/40 , G06V10/26 , G06V10/82 , G06V10/80 , G06V10/44 , G06V10/52 , G06N3/0464 , G06N3/0455
Abstract: 本发明涉及深度学习语义分割技术领域,尤其涉及一种基于选择性扫描视觉状态空间模型的视频序列分割方法,将图像序列输入到重叠特征块划分层,将输入图像序列划分为图像特征块序列;将图像特征块序列输入到基于选择性扫描视觉的状态空间模型编码器中提取不同尺度上的粗细特征序列;将不同尺度上的粗细特征序列输入到多层感知机层进行多级特征的有效融合得到特征序列;将特征序列输入到基于卷积神经网络的轻量级解码头预测分割掩码,并进行视觉可视化生成语义分割图;以此方式解决了现有技术中传统的卷积神经网络接受范围有限,并且基于自注意力的网络在构建长期依赖方面具有极高的计算复杂度,从而导致图像序列分割效果差的技术问题。
-
公开(公告)号:CN114783072B
公开(公告)日:2022-12-30
申请号:CN202210266952.2
申请日:2022-03-17
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V40/70 , G06V10/40 , G06V10/774 , G06V10/764 , G06V10/80
Abstract: 本发明公开一种基于远域迁移学习的图像识别方法,包括如下步骤:将医学领域的小样本图像作为目标域,同时将与目标域相似度高的无标签图像作为辅助域,将自然场景图像作为源域,通过基于Resnet50的轻量级网络提取各自域的高级语义特征;利用具有域距离度量的卷积自动编码器并通过辅助域作为桥梁对源域和目标域的高级语义特征进行特征融合;通过卷积自动解码器重构各自域的高级语义特征;最后通过全连接层对目标域图像进行识别,整个过程通过多任务损失函数进行优化。本发明改善了模型对高级语义信息的提取能力和稳定性,有效提升了模型远域特征迁移能力,本发明可以用于不同任务的图像识别任务。
-
公开(公告)号:CN114880527A
公开(公告)日:2022-08-09
申请号:CN202210648954.8
申请日:2022-06-09
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06F16/901 , G06F16/906 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开一种基于多预测任务的多模态知识图谱表示方法,包括如下步骤:基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示;利用Imagined方法将语义模态数据的向量表示与图像模态的向量表示进行匹配、重构得到混合模态的向量表示;基于结构化模态和混合模态的向量表示构建三个跨模态预测任务,并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型;整合面向不同预测任务的多个子模型得到完整训练模型。本发明可以完成多模态数据表示学习以及后续的知识图谱补全任务。
-
公开(公告)号:CN118015282A
公开(公告)日:2024-05-10
申请号:CN202410311121.1
申请日:2024-03-19
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V10/26 , G06V20/70 , G06T7/194 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/764 , G06V10/762 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/0895 , G06N3/048
Abstract: 本发明涉及数据处理技术领域,具体涉及一种基于背景先验的弱监督语义分割方法,包括:将仅带有图像级标签的特定数据集输入背景聚类算法中根据像素值进行背景聚类,得到聚类掩码图;将数据集输入到在自然图像上经过预训练的SAM模型中进行推理,得到预训练掩码图;通过分割结果融合模块将聚类掩码图和预训练掩码图进行基于IOU的掩码融合,生成背景掩码图;利用多个串行的多尺度拼接卷积块,实现数据集特征的塔式提取,生成分类特征图;将背景掩码图对分类特征图中的前景和背景进行区分;将前景输入到分类器进行分类操作,并进行视觉可视化;本发明解决了现有的语义分割技术中分割标签难以获得和弱监督分割效果不佳的问题。
-
公开(公告)号:CN114783072A
公开(公告)日:2022-07-22
申请号:CN202210266952.2
申请日:2022-03-17
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V40/70 , G06V10/40 , G06V10/774 , G06V10/764 , G06V10/80 , G06K9/62
Abstract: 本发明公开一种基于远域迁移学习的图像识别方法,包括如下步骤:将特定领域的小样本图像作为目标域,同时将与目标域相似度高的无标签图像作为辅助域,将自然场景图像作为源域,通过基于ResNet50的轻量级网络提取各自域的高级语义特征;利用具有域距离度量的卷积自动编码器并通过辅助域作为桥梁对源域和目标域的高级语义特征进行特征融合;通过卷积自动解码器重构各自域的高级语义特征;最后通过全连接层对目标域图像进行识别,整个过程通过多任务损失函数进行优化。本发明改善了模型对高级语义信息的提取能力和稳定性,有效提升了模型远域特征迁移能力,本发明可以用于不同任务的图像识别任务。
-
公开(公告)号:CN119068306B
公开(公告)日:2025-04-29
申请号:CN202411087561.X
申请日:2024-08-09
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V10/82 , G06V10/764 , G06V10/74 , G06V10/44 , G06V10/80 , G06N3/0464 , G06N3/0455 , G06N3/084 , G06N3/09 , G06N3/096 , G06N5/04
Abstract: 本发明涉及数据处理技术领域,具体涉及一种基于多视图知识蒸馏的图像识别方法,包括:通过成像设备获取单一目标在不同视角下的多个成像视图;教师网络对多个视图分别进行卷积辅助分支和注意力辅助分支的并行特征提取;将两个分支生成的辅助特征并行输入多视图对位加权模块进行多视图对应位置间的特征融合;利用融合后的特征向量预测目标在单视角和多视角下的类别概率并使用真实标签进行监督;学生模型对多个视图分别进行原型特征提取;利用师生训练框架对学生网络在真实标签和教师预测标签的监督下进行训练,得到轻量化多视图模型;解决了现阶段多视图识别模型参数量大、训练和推理成本较高、推理速度慢的问题。
-
公开(公告)号:CN119068306A
公开(公告)日:2024-12-03
申请号:CN202411087561.X
申请日:2024-08-09
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V10/82 , G06V10/764 , G06V10/74 , G06V10/44 , G06V10/80 , G06N3/0464 , G06N3/0455 , G06N3/084 , G06N3/09 , G06N3/096 , G06N5/04
Abstract: 本发明涉及数据处理技术领域,具体涉及一种基于多视图知识蒸馏的图像识别方法,包括:通过成像设备获取单一目标在不同视角下的多个成像视图;教师网络对多个视图分别进行卷积辅助分支和注意力辅助分支的并行特征提取;将两个分支生成的辅助特征并行输入多视图对位加权模块进行多视图对应位置间的特征融合;利用融合后的特征向量预测目标在单视角和多视角下的类别概率并使用真实标签进行监督;学生模型对多个视图分别进行原型特征提取;利用师生训练框架对学生网络在真实标签和教师预测标签的监督下进行训练,得到轻量化多视图模型;解决了现阶段多视图识别模型参数量大、训练和推理成本较高、推理速度慢的问题。
-
公开(公告)号:CN116051804A
公开(公告)日:2023-05-02
申请号:CN202211378299.5
申请日:2022-11-04
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
Abstract: 本方案涉及一种基于多尺度反瓶颈结构的目标检测方法、装置、计算机设备及存储介质。所述方法包括:获取原始图像并降采样处理,得到降采样图像;对降采样图像进行反瓶颈操作,并根据骨干网络生成特征金字塔网络;通过特征金字塔网络得到不同尺度特征图,并利用无锚框像素级检测在不同尺度特征图上针对不同大小的目标进行多级预测;对多级预测结果进行模型训练后对原始图像进行多级预测以及后处理,得到目标检测框。通过多尺度反瓶颈结构与无锚框检测结合的方式实现图像的多尺度检测,可以避免信息流失,提高信息有效性,以解决现阶段目标检测领域中图像噪点和图像失真导致的目标检测困难问题,提高目标检测的效果。
-
公开(公告)号:CN114880527B
公开(公告)日:2023-03-24
申请号:CN202210648954.8
申请日:2022-06-09
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06F16/901 , G06F16/906 , G06F18/241 , G06F18/2415 , G06N3/0464 , G06N3/047 , G06N3/08
Abstract: 本发明公开一种基于多预测任务的多模态知识图谱表示方法,包括如下步骤:基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示;利用Imagined方法将语义模态数据的向量表示与图像模态的向量表示进行匹配、重构得到混合模态的向量表示;基于结构化模态和混合模态的向量表示构建三个跨模态预测任务,并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型;整合面向不同预测任务的多个子模型得到完整训练模型。本发明可以完成多模态数据表示学习以及后续的知识图谱补全任务。
-
-
-
-
-
-
-
-
-