-
公开(公告)号:CN119888410A
公开(公告)日:2025-04-25
申请号:CN202510069474.X
申请日:2025-01-16
Applicant: 哈尔滨工业大学
IPC: G06V10/774 , G06V10/72 , G06T15/00 , G06V10/40 , G06F40/279 , G06V10/80 , G06V10/764 , G06V10/82 , G06V20/64 , G06N3/0895 , G06N3/045
Abstract: 一种基于数据筛选优化的多视角协同跨模态3D感知模型训练方法,属于计算机视觉中的跨模态学习领域。本发明针对现有跨模态学习方法中存在的数据质量差、域间差异大以及空间信息丢失等问题。包括:对原始点云数据进行筛选获得筛选后点云数据;获得每个筛选后点云数据的一组多视角渲染图;采用筛选后点云数据对点云编码器进行训练;采用多视角渲染图对多视角编码器训练;将编码后点云特征、编码后多视角特征和编码后文本特征对齐到共享表示空间;最小化对比损失,使相同物体的多模态特征在所述共享表示空间尽量接近,并使不同物体的多模态特征在所述共享表示空间保持分离,并进行网络参数的调整。本发明可应用于三维感知技术的优化和提升。
-
公开(公告)号:CN119579425A
公开(公告)日:2025-03-07
申请号:CN202411513599.9
申请日:2024-10-28
Applicant: 哈尔滨工业大学
IPC: G06T5/50 , G06T5/60 , G06T5/70 , G06T5/77 , G06N3/0455 , G06N3/0464 , G06N3/084 , G06N3/096 , G06N3/0985 , G06V10/44 , G06V10/766 , G06V10/80 , G06V10/82
Abstract: 本发明提出基于下游计数任务反向优化的多模态图像融合去鬼影方法,所述方法包括:使用扩散融合模型为待融合的每个可见光‑红外图像对合成一张融合图像;通过知识蒸馏,使用融合模态生成模块逼近扩散融合模型的多模态融合能力;在多模态目标计数任务中微调融合模态生成模块;使用微调后的融合模态生成模块重新将可见光‑红外图像对融合为一张融合图像。本发明可将可见光和红外图像合成为一张无鬼影的融合图像,即便在目标密集场景也可良好工作,贴合实际应用场景,合成的融合图像效果优于传统的基于图像配准的去鬼影方法,运算时间也低于传统的去鬼影方法。
-
公开(公告)号:CN116739923A
公开(公告)日:2023-09-12
申请号:CN202310605927.7
申请日:2023-05-26
Applicant: 哈尔滨工业大学
IPC: G06T5/00 , G06N3/0464 , G06N3/048 , G06N3/045 , G06N3/0475 , G06N3/0985 , G06N3/084
Abstract: 基于元学习框架的人脸区域引导的图像盲复原方法,属于图像盲复原领域。本发明针对自然场景图像的盲复原方法复原结果质量差的问题。包括由低质量自然场景图像中截取低质量人脸图像;采用人脸复原网络、深度图像盲复原主干网络和自适应人脸评估模块对低质量人脸图像进行处理得到元学习框架的内循环损失,更新深度图像盲复原主干网络的参数;再采用更新后的深度图像盲复原主干网络对低质量自然场景图像进行复原,计算外循环的损失,再更新网络参数对网络进行训练;最后采用训练后深度图像盲复原主干网络结合人脸复原网络和自适应人脸评估模块进行参数微调后,对待复原自然场景图像进行高质量复原。本发明用于自然场景图像的高质量复原。
-
公开(公告)号:CN116563518A
公开(公告)日:2023-08-08
申请号:CN202310454466.8
申请日:2023-04-25
Applicant: 哈尔滨工业大学
Abstract: 不受图像边界限制的构图边界框推荐方法,本发明图像处理技术领域。解决了现有构图裁剪方法受限于图像边界的问题。本发明每个样本包括全视角图I、对全视角图I进行裁剪所获得的任意一个缺失视角图Iinit、以及缺失视角图Iinit在全视角图I内所对应的裁剪框合集,从样本集中随机抽取一个样本对缺失视角特征提取模块、特征补全模块和框回归模块进行训练,训练过程中,通过Iinit得到缺失视角特征图Zvis,利用Zvis预测外扩特征图Zpad,将Zpad和Zvis进行特征合并后,送入框回归模块进行构图边界框预测,并计算总损失值对缺失视角特征提取模块、框回归模块和特征补全模块的网络参数进行更新。本发明用于为相机视角推荐构图边界框。
-
公开(公告)号:CN109684973B
公开(公告)日:2023-04-07
申请号:CN201811549357.X
申请日:2018-12-18
Applicant: 哈尔滨工业大学
Abstract: 基于对称一致性的卷积神经网络的人脸图像填充系统,属于图像填充技术领域,解决了现有基于卷积神经网络的人脸图像填充系统因无法保证所填充人脸的对称一致性而填充效果差的问题。所述人脸图像填充系统:光流网络将部分遮挡人脸图像及其水平翻转图像作为输入,将得到的光流向量作为使该水平翻转图像变形的绝对坐标,并通过双线性插值的方式使该水平翻转图像变形为形变翻转图。光照网络将部分遮挡人脸图像及其水平翻转图像作为输入,并通过得到的光照纠正系数来纠正形变翻转图的光照分布。对称缺失像素填充子系统将光照分布纠正后的形变翻转图及其对应的剩余遮挡模板作为其输入,输出缺失像素填充后的人脸图像。
-
公开(公告)号:CN109285129A
公开(公告)日:2019-01-29
申请号:CN201811040207.6
申请日:2018-09-06
Applicant: 哈尔滨工业大学
Abstract: 基于卷积神经网络的图像真实噪声去除系统,属于图像去噪领域,解决了现有基于卷积神经网络的图像去噪方法对于图像真实噪声的去除效果不理想的问题。本发明所述的基于卷积神经网络的图像真实噪声去除系统,先通过图像真实噪声水平估计子网络估计待去噪图像的真实噪声等级值,再通过图像噪声去除子网络,并根据待去噪图像的真实噪声等级估计值对待去噪图像的真实噪声进行去除。与现有基于卷积神经网络的图像去噪方法相比,本发明所述的基于卷积神经网络的图像真实噪声去除系统因引入了真实噪声等级估计环节而具有更好的图像真实噪声去除效果。
-
公开(公告)号:CN108171663A
公开(公告)日:2018-06-15
申请号:CN201711416650.4
申请日:2017-12-22
Applicant: 哈尔滨工业大学
Abstract: 基于特征图最近邻替换的卷积神经网络的图像填充系统,属于图像填充技术领域,解决了现有图像填充方法无法快速地获得整体语义一致且具有良好清晰度的填充图像的问题。所述系统:生成网络对待填充图像先编码后解码,得到已填充图像。生成网络的解码器包括N个反卷积层,对于第一反卷积层~第N‑1反卷积层中的任意M个反卷积层,生成网络基于每个反卷积层的输出结果和该反卷积层对应的卷积层的输出结果,并采用特征图最近邻替换的方式得到附加特征图,并将每个反卷积层的输出结果、该反卷积层对应的卷积层的输出结果和附加特征图共同作为下一反卷积层的输入对象。判别网络用于判断已填充图像是否为待填充图像对应的真实图像。
-
公开(公告)号:CN101794351B
公开(公告)日:2012-08-15
申请号:CN201010120350.3
申请日:2010-03-09
Applicant: 哈尔滨工业大学
Abstract: 一种基于大间隔最近中心点的蛋白质二级结构的工程预测方法,属于蛋白质二级结构的工程预测方法领域,解决了现有蛋白质二级结构的预测方法在采用机器学习算法时,存在的数据权值存在局部极小值、预测效率低的问题。本发明所述的蛋白质二级预测方法是:首先基于PDB数据库构造非冗余蛋白质二级结构训练数据集,然后基于NCBI nr数据库为目标蛋白质链构造多序列比对特征,最后调用大间隔最近中心点算法来构建蛋白质二级结构预测模型。所述的大间隔最近中心点算法利用欧氏距离的K-means聚类算法确定每类样本的中心点,通过最小化目标损失函数学习输入空间的线性变换。本发明实现了快速、高效率、高精度的蛋白质二级结构预测,适用于蛋白质的二级结构预测。
-
公开(公告)号:CN101866366B
公开(公告)日:2012-01-18
申请号:CN201010226787.5
申请日:2010-07-15
Applicant: 哈尔滨工业大学
Abstract: 一种基于内容的图像格式中文文档检索方法,它涉及信息处理技术领域,它解决了现有的基于OCR技术的检索方法不能有效处理字符退化严重的图像格式文档的问题。本发明首先对图像格式文档进行字符分割,得到单个字符图像;然后提取字符图像特征矢量;接着基于局部敏感哈希变换原理LSH,构建hash函数,将每个字符图像特征矢量变换为伪码,并建立字符标引数据库;然后输入查询关键词,并获得所述查询关键词的伪码表示,再将查询关键词的伪码与字符标引数据库中伪码进行字符相似度比较,进而获取查询关键词的所有相似词,并按照其在文档中出现的先后顺序输出相似词,完成检索。本发明适用于图像格式的中文文档检索。
-
公开(公告)号:CN102184383A
公开(公告)日:2011-09-14
申请号:CN201110096820.1
申请日:2011-04-18
Applicant: 哈尔滨工业大学
Abstract: 一种印刷体字符图像样本的自动生成方法,它涉及字符图像样本的自动生成方法。本发明解决了现有的字符采集方法分割精度低,需人工校验,从而造成样本采集速度慢的技术问题。本发明:将印刷体字符处理成样本字符,设计带有定位区的文档模板,将样本字符输到文档模板的字符区,转换为PDF格式后打印纸质文档,再扫描或照相后,得到实际图像;将PDF格式文档变换为图像,得到理想图像;再从PDF格式文档中抽取字符的位置信息,得到理想图像的字符基准;将理想图像与实际图像配准,建立两幅图像的映射关系,根据射影变换模型将理想图像的字符位置信息映射到实际图像中,将字符图像提取出来,编码保存。本发明适于任何语种的印刷体字符图像。
-
-
-
-
-
-
-
-
-