-
公开(公告)号:CN117793382A
公开(公告)日:2024-03-29
申请号:CN202311574335.X
申请日:2023-11-23
Applicant: 北京工业大学
Abstract: 本发明公开一种基于多阶段信息传输增强的图像压缩感知方法及装置,首先将图像分块,然后使用离散小波变换将图像块分解为低频子带和高频子带,并拉成向量;接下来根据不同子带的特性进行采样,通过近似消息传递算法解决线性逆问题,然后结合小波树结构的先验和多阶段信息的先验建立重建模型,并展开成神经网络;因此能够提高信息的传输和补偿能力,通过从以往各个阶段提取有价值的特征有效地提高当前恢复的质量,同时极大地提高网络的表示能力,并最小化不同阶段的信息损失。
-
公开(公告)号:CN111709275B
公开(公告)日:2024-02-06
申请号:CN202010350248.6
申请日:2020-04-28
Applicant: 北京工业大学
IPC: G06V10/94 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/084
Abstract: 公开一种用于Affordance推理的深度网络构建方法,其能够描述物体间影响的不对称性,考虑不同邻居节点的差异性影响的问题,更好地刻画场景上下文中物体之间的关系。该方法包括两个部分:视觉特征提取部分和Affordance推理部分;Affordance推理部分采用门控图注意力网络(Gated Graph Attention Neural Network,GGANN),以图结构作为上下文的载体,基于对象级别的上下文信息构建双向图,对环境中物体提取视觉特征并与类别信息融合作为每个图节点的表示,图节点之间建立双向边,并引入图注意力机制更新边的权值以描述不同邻居节点间的差异性影响。
-
-
公开(公告)号:CN116522275A
公开(公告)日:2023-08-01
申请号:CN202310301100.7
申请日:2023-03-24
Applicant: 北京工业大学
IPC: G06F18/25 , G06V10/764 , G06V10/82 , G06V10/80
Abstract: 基于跨模态多粒度交互融合的长文档分类方法及装置,能够有效弥补现有方法对视觉信息的忽视,通过引入特征偏移网络在不同粒度实现跨模态的交互和融合,控制计算复杂度,达到分类准确率和分类效率的平衡。方法包括:(1)输入一个长文档中对应的文本序列,以及对应的单张或多张图片;(2)分别通过预训练编码器BERT和VGG‑16提取对应模态的多粒度特征表示;(3)使用多模态协同池化模块,在视觉信息和文本信息的协同引导下池化细粒度文本特征;(4)使用跨模态特征偏移网络,分别在4个不同的粒度组合下实现跨模态特征的交互和融合;(5)使用特征聚合网络实现多空间特征的融合,并获得最终的长文档分类结果。
-
公开(公告)号:CN116188690A
公开(公告)日:2023-05-30
申请号:CN202310163381.4
申请日:2023-02-24
Applicant: 北京工业大学
IPC: G06T17/00 , G06T5/50 , G06N3/08 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于空间骨架信息的手绘草图三维模型重建方法,提出空间骨架引导编码器、域自适应编码器和自注意力解码器,通过空间骨架编码器提取草图的骨架特征,骨架信息作为一种先验知识来提供重建完整三维模型所需的辅助信息,域自适应编码器将合成草图学习到的知识迁移到手绘草图中,基于注意力的解码器消除歧义性,本方法提升了单张手绘草图的三维重建精度。自注意力机制使得模型区分轮廓相似度较高的草图输入;相对于其他技术使用判别器与梯度反转层的域自适应方法,其训练的值函数相当于最小化两个分布之间的Jensen‑Shannon散度,因为最小化的散度对于生成器参数来说可能不是连续的,而本发明的域自适应约束函数可被认为处处可微,训练更加稳定。
-
公开(公告)号:CN110084740B
公开(公告)日:2023-05-23
申请号:CN201910338287.1
申请日:2019-04-25
Applicant: 北京工业大学
IPC: G06T3/00
Abstract: 本发明涉及一种基于规格化结构的球面图像生成及转换方法。传统图像利用基于规格化结构的数字化表示方式,简化图像处理操作,从而在很多应用中取得了成功。然而,对360°球面图像视频,目前还缺乏有效的规格化数字化表示方式。为解决现有球面数字化表示方法冗余大,几何关系复杂,不利于数字化采样和数值计算的缺点,本发明利用曲面三角作为图像像元,建立球面规格化结构,并以此为基础给出基于规格化结构的数字化球面图像的生成方法;更进一步,本发明将平面图像插值算法引入该数字化框架,提出从ERP图像到规格化球面图像的转换方法,可将ERP投影格式下的360°图像视频转化为高质量的规格化球面图像,为后续处理提供数据保障。
-
公开(公告)号:CN115984372A
公开(公告)日:2023-04-18
申请号:CN202211492369.X
申请日:2022-11-25
Applicant: 北京工业大学
IPC: G06T7/73 , G06V10/40 , G06F40/30 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了基于多层注意力的视觉定位方法,该方法基于三个模块实现:1)属性注意模块:提取目标对象的细粒度的属性信息;2)上下文注意模块:提取目标对象的周围环境信息;3)匹配模块:结合上两个模块提取到的视觉信息与文本信息匹配找到目标对象。根据文本指导编码与文本语义信息一致的视觉信息来与文本更好的匹配,其包括局部注意力与全局注意力,局部注意力通过跨模态交互提取目标对象细粒度的属性信息;全局注意力通过建立文本为指导的图卷积模型抽取目标对象的上下文信息。两个注意力的结合可以全方位的抽取不同角度的视觉信息,来与文本信息更好的匹配。
-
公开(公告)号:CN115482379A
公开(公告)日:2022-12-16
申请号:CN202211106328.2
申请日:2022-09-11
Applicant: 北京工业大学
Abstract: 基于交错空洞卷积UNet的图像语义分割方法适用于计算机视觉领域。该方法使用了交错空洞卷积模块以及边缘保持模块。交错空洞卷积模块通过交错式的融合方式,即避免了将表达不同物体的特征进行相加,又有效的融合分布在不同通道的特征。而边缘保持模块通过将不同卷积核的卷积层的输出做差得到边缘特征,经整合后加和到输出特征上。该模块具有锐化特征边缘信息的能力。从而增强模型对于边缘的预测能力。该方法的提出,主要解决的技术问题包括多感受野的特征融合与图像语义分割的细节优化,从而获得更好的语义分割性能。
-
公开(公告)号:CN114077692A
公开(公告)日:2022-02-22
申请号:CN202111310620.1
申请日:2021-11-04
Applicant: 北京工业大学
IPC: G06F16/9035 , G06F16/906 , G06F16/901 , G06N5/02 , G06N3/08 , G06V10/764 , G06V10/82 , G06K9/62
Abstract: 基于交互任务知识图谱的细粒度工具推荐方法及装置,能够很好地针对细粒度任务进行工具推荐,并且在最优工具不存在时,可以有效地检索到替代工具。方法包括:(1)建立交互任务知识图谱ITKG来定义交互任务、工具及被操作物体的多粒度语义;(2)通过交互工具推荐网络IT‑Net推荐细粒度任务适配的工具;(3)通过约束工具和被操作物体的粗粒度语义预测损失loss,通过细粒度语义预测loss,使IT‑Net学习到工具和被操作物体的共同特征和专有特征;(4)通过约束适配细粒度任务的工具和被操作物体的嵌入特征距离小于不适配细粒度任务的工具和被操作物体的嵌入特征距离,使IT‑Net学习适配细粒度任务的工具和被操作物体的特征关系。
-
公开(公告)号:CN113780001A
公开(公告)日:2021-12-10
申请号:CN202110921609.2
申请日:2021-08-12
Applicant: 北京工业大学
Abstract: 本发明提出了一种面向学术论文同名消歧的可视化分析方法。在科学文献管理领域内,如何提高同名消歧的效率已成为一个亟待解决的热点问题。鲜有一种可交互的、直观的可视化工具,在结合机器学习算法的基础上,对同名作者之间的合作关系进行深入的分析和解释。本发明首先根据论文合著者存在的合作网络,生成合作关系图,用于揭示科研团队中作者的合作关系。为了展示不同作者研究方向之间的相关性,设计了合作关系图和发文期刊图之间的可视化联动。通过结合深度学习模型分别对论文和作者进行分类,实现从作者和团队任意主体出发的交叉分析与连贯推理。本发明基于真实论文数据集进行了案例研究,验证了本发明在解决论文同名消歧问题上的有效性。
-
-
-
-
-
-
-
-
-