-
公开(公告)号:CN119206568A
公开(公告)日:2024-12-27
申请号:CN202411238187.9
申请日:2024-09-05
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V20/40 , G06V10/26 , G06V10/82 , G06V10/80 , G06V10/44 , G06V10/52 , G06N3/0464 , G06N3/0455
Abstract: 本发明涉及深度学习语义分割技术领域,尤其涉及一种基于选择性扫描视觉状态空间模型的视频序列分割方法,将图像序列输入到重叠特征块划分层,将输入图像序列划分为图像特征块序列;将图像特征块序列输入到基于选择性扫描视觉的状态空间模型编码器中提取不同尺度上的粗细特征序列;将不同尺度上的粗细特征序列输入到多层感知机层进行多级特征的有效融合得到特征序列;将特征序列输入到基于卷积神经网络的轻量级解码头预测分割掩码,并进行视觉可视化生成语义分割图;以此方式解决了现有技术中传统的卷积神经网络接受范围有限,并且基于自注意力的网络在构建长期依赖方面具有极高的计算复杂度,从而导致图像序列分割效果差的技术问题。
-
公开(公告)号:CN117994122B
公开(公告)日:2024-11-26
申请号:CN202410135881.1
申请日:2024-01-31
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06T3/04 , G06T7/90 , G06N3/0464 , G06N3/0475 , G06N3/044 , G06N3/094
Abstract: 本发明涉及计算机视觉技术领域,具体涉及一种基于循环生成对抗网络的图像风格迁移方法;将风格A的图像集和风格B的图像集共同作为训练集,两种风格的图像集分别把对方的风格作为迁移目标,构建一个用于判断图像的风格和是否经过迁移的判别器,两个用于进行风格迁移的生成器;利用推土机距离和梯度惩罚更新判别器,利用循环一致性损失、一致性损失和两个生成器损失更新生成器;通过推土机距离收敛与否判断训练进程;通过实际生成的效果图来调整多优化目标的损失函数的超参数;本发明改善了循环生成对抗网络训练的稳定性,使得训练进程可视化,有效降低了模型训练的难度,可以用于不同数据集的图像风格迁移任务。
-
公开(公告)号:CN114783072B
公开(公告)日:2022-12-30
申请号:CN202210266952.2
申请日:2022-03-17
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V40/70 , G06V10/40 , G06V10/774 , G06V10/764 , G06V10/80
Abstract: 本发明公开一种基于远域迁移学习的图像识别方法,包括如下步骤:将医学领域的小样本图像作为目标域,同时将与目标域相似度高的无标签图像作为辅助域,将自然场景图像作为源域,通过基于Resnet50的轻量级网络提取各自域的高级语义特征;利用具有域距离度量的卷积自动编码器并通过辅助域作为桥梁对源域和目标域的高级语义特征进行特征融合;通过卷积自动解码器重构各自域的高级语义特征;最后通过全连接层对目标域图像进行识别,整个过程通过多任务损失函数进行优化。本发明改善了模型对高级语义信息的提取能力和稳定性,有效提升了模型远域特征迁移能力,本发明可以用于不同任务的图像识别任务。
-
公开(公告)号:CN114880527A
公开(公告)日:2022-08-09
申请号:CN202210648954.8
申请日:2022-06-09
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06F16/901 , G06F16/906 , G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开一种基于多预测任务的多模态知识图谱表示方法,包括如下步骤:基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示;利用Imagined方法将语义模态数据的向量表示与图像模态的向量表示进行匹配、重构得到混合模态的向量表示;基于结构化模态和混合模态的向量表示构建三个跨模态预测任务,并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型;整合面向不同预测任务的多个子模型得到完整训练模型。本发明可以完成多模态数据表示学习以及后续的知识图谱补全任务。
-
公开(公告)号:CN118015282B
公开(公告)日:2024-11-05
申请号:CN202410311121.1
申请日:2024-03-19
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06V10/26 , G06V20/70 , G06T7/194 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/764 , G06V10/762 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/0895 , G06N3/048
Abstract: 本发明涉及数据处理技术领域,具体涉及一种基于背景先验的弱监督语义分割方法,包括:将仅带有图像级标签的特定数据集输入背景聚类算法中根据像素值进行背景聚类,得到聚类掩码图;将数据集输入到在自然图像上经过预训练的SAM模型中进行推理,得到预训练掩码图;通过分割结果融合模块将聚类掩码图和预训练掩码图进行基于IOU的掩码融合,生成背景掩码图;利用多个串行的多尺度拼接卷积块,实现数据集特征的塔式提取,生成分类特征图;将背景掩码图对分类特征图中的前景和背景进行区分;将前景输入到分类器进行分类操作,并进行视觉可视化;本发明解决了现有的语义分割技术中分割标签难以获得和弱监督分割效果不佳的问题。
-
公开(公告)号:CN117994122A
公开(公告)日:2024-05-07
申请号:CN202410135881.1
申请日:2024-01-31
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06T3/04 , G06T7/90 , G06N3/0464 , G06N3/0475 , G06N3/044 , G06N3/094
Abstract: 本发明涉及计算机视觉技术领域,具体涉及一种基于循环生成对抗网络的图像风格迁移方法;将风格A的图像集和风格B的图像集共同作为训练集,两种风格的图像集分别把对方的风格作为迁移目标,构建一个用于判断图像的风格和是否经过迁移的判别器,两个用于进行风格迁移的生成器;利用推土机距离和梯度惩罚更新判别器,利用循环一致性损失、一致性损失和两个生成器损失更新生成器;通过推土机距离收敛与否判断训练进程;通过实际生成的效果图来调整多优化目标的损失函数的超参数;本发明改善了循环生成对抗网络训练的稳定性,使得训练进程可视化,有效降低了模型训练的难度,可以用于不同数据集的图像风格迁移任务。
-
公开(公告)号:CN117473124A
公开(公告)日:2024-01-30
申请号:CN202311451594.3
申请日:2023-11-03
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G06F16/901 , G06F16/835 , G06N3/0895
Abstract: 本发明涉及图表示学习与图数据挖掘技术领域,具体涉及一种具备抵制过度平滑能力的自监督异质图表示学习方法;通过GNN分支和Transformer分支在不同视角下对节点信息进行编码,基于两个视角的信息建立对比学习任务,实现无需样本标注条件下的自监督异质图表示学习,解决了现有GNN消息传递机制的过度平滑限制网络层数的扩展,从而导致模型在面对复杂图数据的表达能力不足的问题,大大增强了模型对远距离邻域信息的捕捉能力。
-
公开(公告)号:CN117393050A
公开(公告)日:2024-01-12
申请号:CN202311348087.7
申请日:2023-10-17
Applicant: 哈尔滨工业大学(威海) , 南京龙垣信息科技有限公司
IPC: G16B40/00 , G16B15/20 , G16B30/00 , G06N3/0464 , G06N3/0455 , G06N3/042 , G06N3/0499 , G06N3/08 , G06F18/213
Abstract: 本申请提供一种蛋白质功能识别方法、装置及可读存储介质,涉及生物信息技术领域,其中该方法具体包括:获取目标蛋白质数据,目标蛋白质输入数据包含与待识别的蛋白质相关的蛋白质序列、蛋白质结构和相互作用网络信息;将目标蛋白质数据输入至蛋白质功能识别模型,以由蛋白质功能识别模型输出相应的目标蛋白质功能;蛋白质功能识别模型采用基于Transformer架构的图神经网络,蛋白质功能识别模型被配置成符合面向图数据的层间特征传递自注意力机制。由此,通过组建类似于残差网络的架构的Transformer模型,能较佳地捕获蛋白质序列之间的复杂相互作用关系,保障了蛋白质功能识别结果的精确度。
-
-
-
-
-
-
-