公开(公告)号：CN114783072A

公开(公告)日：2022-07-22

申请号：CN202210266952.2

申请日：2022-03-17

Applicant: 哈尔滨工业大学(威海) ,  南京龙垣信息科技有限公司

Inventor： 丁建睿 ,  汤丰赫 ,  张星东 ,  丁卓

IPC: G06V40/70 ,  G06V10/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06K9/62

Abstract: 本发明公开一种基于远域迁移学习的图像识别方法，包括如下步骤：将特定领域的小样本图像作为目标域，同时将与目标域相似度高的无标签图像作为辅助域，将自然场景图像作为源域，通过基于ResNet50的轻量级网络提取各自域的高级语义特征；利用具有域距离度量的卷积自动编码器并通过辅助域作为桥梁对源域和目标域的高级语义特征进行特征融合；通过卷积自动解码器重构各自域的高级语义特征；最后通过全连接层对目标域图像进行识别，整个过程通过多任务损失函数进行优化。本发明改善了模型对高级语义信息的提取能力和稳定性，有效提升了模型远域特征迁移能力，本发明可以用于不同任务的图像识别任务。

公开(公告)号：CN119068306B

公开(公告)日：2025-04-29

申请号：CN202411087561.X

申请日：2024-08-09

Applicant: 哈尔滨工业大学(威海) ,  南京龙垣信息科技有限公司

Inventor： 丁建睿 ,  刘家栋 ,  丁卓

IPC: G06V10/82 ,  G06V10/764 ,  G06V10/74 ,  G06V10/44 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/09 ,  G06N3/096 ,  G06N5/04

Abstract: 本发明涉及数据处理技术领域，具体涉及一种基于多视图知识蒸馏的图像识别方法，包括：通过成像设备获取单一目标在不同视角下的多个成像视图；教师网络对多个视图分别进行卷积辅助分支和注意力辅助分支的并行特征提取；将两个分支生成的辅助特征并行输入多视图对位加权模块进行多视图对应位置间的特征融合；利用融合后的特征向量预测目标在单视角和多视角下的类别概率并使用真实标签进行监督；学生模型对多个视图分别进行原型特征提取；利用师生训练框架对学生网络在真实标签和教师预测标签的监督下进行训练，得到轻量化多视图模型；解决了现阶段多视图识别模型参数量大、训练和推理成本较高、推理速度慢的问题。

公开(公告)号：CN119068306A

公开(公告)日：2024-12-03

申请号：CN202411087561.X

申请日：2024-08-09

Applicant: 哈尔滨工业大学(威海) ,  南京龙垣信息科技有限公司

Inventor： 丁建睿 ,  刘家栋 ,  丁卓

IPC: G06V10/82 ,  G06V10/764 ,  G06V10/74 ,  G06V10/44 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/09 ,  G06N3/096 ,  G06N5/04

Abstract: 本发明涉及数据处理技术领域，具体涉及一种基于多视图知识蒸馏的图像识别方法，包括：通过成像设备获取单一目标在不同视角下的多个成像视图；教师网络对多个视图分别进行卷积辅助分支和注意力辅助分支的并行特征提取；将两个分支生成的辅助特征并行输入多视图对位加权模块进行多视图对应位置间的特征融合；利用融合后的特征向量预测目标在单视角和多视角下的类别概率并使用真实标签进行监督；学生模型对多个视图分别进行原型特征提取；利用师生训练框架对学生网络在真实标签和教师预测标签的监督下进行训练，得到轻量化多视图模型；解决了现阶段多视图识别模型参数量大、训练和推理成本较高、推理速度慢的问题。

公开(公告)号：CN116051804A

公开(公告)日：2023-05-02

申请号：CN202211378299.5

申请日：2022-11-04

Applicant: 哈尔滨工业大学(威海) ,  南京龙垣信息科技有限公司

Inventor： 丁建睿 ,  王凌涛 ,  张星东 ,  丁卓

IPC: G06V10/22 ,  G06V10/52 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V10/77 ,  G06N3/04 ,  G06N3/08

Abstract: 本方案涉及一种基于多尺度反瓶颈结构的目标检测方法、装置、计算机设备及存储介质。所述方法包括：获取原始图像并降采样处理，得到降采样图像；对降采样图像进行反瓶颈操作，并根据骨干网络生成特征金字塔网络；通过特征金字塔网络得到不同尺度特征图，并利用无锚框像素级检测在不同尺度特征图上针对不同大小的目标进行多级预测；对多级预测结果进行模型训练后对原始图像进行多级预测以及后处理，得到目标检测框。通过多尺度反瓶颈结构与无锚框检测结合的方式实现图像的多尺度检测，可以避免信息流失，提高信息有效性，以解决现阶段目标检测领域中图像噪点和图像失真导致的目标检测困难问题，提高目标检测的效果。

公开(公告)号：CN114880527B

公开(公告)日：2023-03-24

申请号：CN202210648954.8

申请日：2022-06-09

Applicant: 哈尔滨工业大学(威海) ,  南京龙垣信息科技有限公司

Inventor： 丁建睿 ,  付晏升 ,  张星东 ,  丁卓

IPC: G06F16/901 ,  G06F16/906 ,  G06F18/241 ,  G06F18/2415 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/08

Abstract: 本发明公开一种基于多预测任务的多模态知识图谱表示方法，包括如下步骤：基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示；利用Imagined方法将语义模态数据的向量表示与图像模态的向量表示进行匹配、重构得到混合模态的向量表示；基于结构化模态和混合模态的向量表示构建三个跨模态预测任务，并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；整合面向不同预测任务的多个子模型得到完整训练模型。本发明可以完成多模态数据表示学习以及后续的知识图谱补全任务。