-
公开(公告)号:CN118350417B
公开(公告)日:2024-11-19
申请号:CN202410780844.6
申请日:2024-06-18
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N3/0455 , G06N3/082 , G06N3/084
Abstract: 本发明公开了一种目标检测模型的优化方法、装置、电子设备及存储介质,应用于DINO模型,涉及人工智能技术领域,所述目标检测模型的优化方法包括以下步骤:S10,LST结构改进:在通过历史任务训练好的原DINO模型上新增旁支网络,以获得新DINO模型;S20,初步预热:固定原DINO模型的网络参数,并利用历史任务对旁支网络的参数进行训练;S30,持续学习增量训练:采用ER技术对新DINO模型进行持续学习训练,且训练过程中采用遗忘性优先采样策略进行历史任务样本选取;S40,推理测试。本发明的有益效果:既能缓解模型的灾难性遗忘,又能快速适应新任务。
-
公开(公告)号:CN118364870A
公开(公告)日:2024-07-19
申请号:CN202410796661.3
申请日:2024-06-20
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N3/0455 , G06N3/08 , G06F40/226 , G06F40/284
Abstract: 本发明公开了一种大语言模型的优化方法、装置、电子设备及存储介质,涉及人工智能技术领域,所述大语言模型的优化方法具体包括以下步骤:S10,结合原LLM模型和大模型SFT数据集生成训练数据集;S20,在原LLM模型的主干网络中嵌入旁支网络,以获得新LLM模型,并在旁支网络的输入端输入掩码词元序列;S30,在训练数据集上采用损失函数对新LLM模型进行训练,训练完成后,LLM模型能够在一次推理中预测多个候选词元序列;S40,并行执行候选词元序列的生成和候选词元序列正确性的验证。本发明的有益效果:既节约了资源消耗和时间,又增强了LLM模型的解码能力,还保证了LLM模型输出结果的质量。
-
公开(公告)号:CN118042133A
公开(公告)日:2024-05-14
申请号:CN202410436958.9
申请日:2024-04-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: H04N19/124 , H04N19/174 , H04N19/132 , G06T9/00
Abstract: 本发明公开一种基于切片表达的全景图像编码方法、解码方法及相关装置,涉及全景图像编解码领域,方法包括以下步骤:对获取的待编码全景图像进行超级切片图像转换,得到超级切片图像集合作为全景图像的切片化表达形式,利用切片编码器对超级切片图像集合进行特征提取,得到超级切片编码,进一步生成超级切片编码量化结果和先验编码量化结果,据此确定高斯分布概率模型,并利用该模型生成超级切片编码量化结果的比特流和先验编码量化结果的比特流;而在解码阶段,对超级切片编码量化结果的比特流进行解码,并将解码结果经过反量化以及切片解码后,得到全景重构图像,提高了全景图像表达的稳定性,实现了高性能的全景图像编解码。
-
公开(公告)号:CN117541512A
公开(公告)日:2024-02-09
申请号:CN202311664982.X
申请日:2023-12-05
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06T5/77 , G06N3/0464 , G06N3/08
Abstract: 本发明提供基于持续学习的图像恢复模型生成方法及图像恢复方法,涉及图像处理技术领域,方法包括:获取目标退化类型对应的基线模型和训练集,训练集包括第一训练集和第二训练集,第一训练集中的训练数据组少于第二训练集中的训练数据组,每个训练数据组中包括样本待恢复图像以及样本待恢复图像对应的恢复图像;基于第一训练集对目标退化类型对应的基线模型进行训练,得到目标退化类型对应的目标模型;基于目标退化类型对应的目标模型和基线模型确定关键卷积核;基于第二训练集对基线模型进行训练,更新关键卷积核的参数,得到目标退化类型对应的图像恢复模型。本发明可以提高多种图像恢复任务的图像恢复模型的生成效率。
-
公开(公告)号:CN116563840B
公开(公告)日:2023-09-05
申请号:CN202310828211.3
申请日:2023-07-07
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06V20/62 , G06V20/70 , G06V30/14 , G06V30/18 , G06V10/82 , G06V30/19 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/0895
Abstract: 本发明提供基于弱监督跨模态对比学习的场景文本检测与识别方法,涉及图像处理技术领域。方法包括:将待识别图像输入至文本识别模型中的第一图像编码器得到第一图像特征图;基于第一图像特征图获取概率特征图、字符位置特征图以及字符语义特征图;基于概率特征图、字符位置特征图和字符语义特征图中确定待识别图像中的文本识别结果;文本识别模型是基于多组包括样本待识别图像以及样本待识别图像对应的第一文本内容标签和文本区域位置标签的第一训练数据训练得到的;文本区域位置标签是基于标签生成模型生成的,标签生成模型基于多组包括样本待标注图像以及样本待标注图像中的第二文本内容标签的第二训练数据训练得到。本发明可以降低标注成本。
-
公开(公告)号:CN114691897B
公开(公告)日:2025-05-16
申请号:CN202210284064.3
申请日:2022-03-22
Applicant: 哈尔滨工业大学(深圳)
IPC: G06F16/41 , G06F16/432 , G06F16/48 , G06N3/08
Abstract: 本发明公开了深度自适应多模态哈希检索方法及相关设备,本发明提供的方法,在面向多模态数据的哈希学习过程中先根据每一个模态数据的物理特性和特质,设计各自模态数据的特征学习网络,根据每次投入学习的训练样本中各个模态对最终共有特征的性能所做贡献大小,对每一个模态特征确定可学习的权重,根据权重来对各个模态的特征进行融合,实现了根据训练样本自身特性完成自适应权重的信息融合;使融合后的共有特征与哈希码的差异最小化,此过程加入从预设标签中提取的可伸缩语义特征,对哈希函数的参数进行自动更新,实现了特征空间与哈希空间的对齐,使用标签语义信息监督参数更新,能够提升多模态特征自适应融合能力和哈希学习的判别性表征能力。
-
公开(公告)号:CN114638977B
公开(公告)日:2025-05-06
申请号:CN202210240410.8
申请日:2022-03-10
IPC: G06V10/56 , G06V10/74 , G06V10/75 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了基于自适应权重融合的薄层色谱成分分析方法及相关设备。本发明提供的基于自适应权重融合的薄层色谱成分分析方法,对待分析样本的薄层色谱图像和已知成分的目标样本的薄层色谱图像进行特征向量提取以及谱带提取,使用特征向量匹配和色谱带的相对位置关系作为鉴别要素输入至神经网络中进行成分鉴别,融合了特征点相似度和谱带位置关系相似度,可以提升薄层色谱成分分析结果的准确性和效率。
-
公开(公告)号:CN115758281A
公开(公告)日:2023-03-07
申请号:CN202211346336.4
申请日:2022-10-31
Applicant: 哈尔滨工业大学(深圳)
IPC: G06F18/25 , G06F18/213 , G06F18/241 , G16H10/60 , G16H30/20 , G16H50/20
Abstract: 本发明公开了一种中医多模态诊察信息的融合方法及相关设备,所述方法包括:获取多个模态诊疗数据,将各模态诊疗数据分解为共有信息和各模态内部的独有信息;基于解纠缠策略,将多个模态之间的共有信息为与各模态的独有信息视为不同的类别,在新的投影空间内通过分类器以充分学习不同模态的独有信息;将学习所得共有信息与独有信息进行串联得到融合特征,并通过分类与多次优化迭代,增强融合特征对病症的表示效果。本发明将多模态诊疗数据分解为共有信息和独有信息,通过解纠缠策略,设计约束函数与分类模型,增强独有信息与公共信息,将共有信息和独有信息串联,并通过分类与多次优化迭代,进一步增强独有信息与公共信息,实现了良好的多模态特征表示效果。
-
公开(公告)号:CN115186810A
公开(公告)日:2022-10-14
申请号:CN202210798777.1
申请日:2022-07-08
Applicant: 哈尔滨工业大学(深圳)
Abstract: 本发明公开了一种免训练的神经网络架构搜索方法及相关设备。方法包括:选取至少两个网络输入数据分别输入至目标超网中,获取各个网络输入数据分别对应的网络线性映射输出,其中,目标超网中包括预设数量个节点,相邻的两个节点之间包括至少一个连接,每个连接对应一种神经网络操作;根据各个网络线性映射输出之间的差异确定目标超网的评价值;计算目标超网中每个连接的重要性,其中,目标超网中每一条连接的重要性反映该连接对目标超网的评价值的影响;根据目标超网中各个连接的重要性在目标超网中删除至少一个连接,并重复执行计算目标超网中每个连接的重要性的步骤,直至目标超网为一个单一的神经网络。本发明可以降低神经网络架构搜索的耗时。
-
公开(公告)号:CN114691897A
公开(公告)日:2022-07-01
申请号:CN202210284064.3
申请日:2022-03-22
Applicant: 哈尔滨工业大学(深圳)
IPC: G06F16/41 , G06F16/432 , G06F16/48 , G06N3/04
Abstract: 本发明公开了深度自适应多模态哈希检索方法及相关设备,本发明提供的方法,在面向多模态数据的哈希学习过程中先根据每一个模态数据的物理特性和特质,设计各自模态数据的特征学习网络,根据每次投入学习的训练样本中各个模态对最终共有特征的性能所做贡献大小,对每一个模态特征确定可学习的权重,根据权重来对各个模态的特征进行融合,实现了根据训练样本自身特性完成自适应权重的信息融合;使融合后的共有特征与哈希码的差异最小化,此过程加入从预设标签中提取的可伸缩语义特征,对哈希函数的参数进行自动更新,实现了特征空间与哈希空间的对齐,使用标签语义信息监督参数更新,能够提升多模态特征自适应融合能力和哈希学习的判别性表征能力。
-
-
-
-
-
-
-
-
-