一种基于离散傅里叶变换的注意力机制的图像生成方法

    公开(公告)号:CN114037770B

    公开(公告)日:2024-08-16

    申请号:CN202111255619.3

    申请日:2021-10-27

    Inventor: 赵江伟 唐佩军

    Abstract: 该发明公开了一种基于傅里叶变化注意力机制的图像生成方法,属于计算机视觉领域。该方法首先选择使用生成对抗网络作为基本框架,并对训练图片进行归一化,还对正态分布进行采样得到噪声;将原有的注意力机制进行了改进,利用离散傅里叶变换的能够结合所有位置信息进行计算的特性,替换原有的具有较高复杂度的计算像素点相关性特征图部分;进而得到结合所有位置信息的特征图。在训练时本方法将噪声和图片的类别同时输入网络,并利用生成对抗网络算法去训练模型。在训练好网络后,通过在生成对抗中输入噪声和图片类别就可以完成图像的生成任务。本发明可显著降低自注意力机制的计算复杂度和时间复杂度,提高了现有方法生成的图像质量和图片多样性。

    一种基于离散傅里叶变换的注意力机制的图像生成方法

    公开(公告)号:CN114037770A

    公开(公告)日:2022-02-11

    申请号:CN202111255619.3

    申请日:2021-10-27

    Inventor: 赵江伟 唐佩军

    Abstract: 该发明公开了一种基于傅里叶变化注意力机制的图像生成方法,属于计算机视觉领域。该方法首先选择使用生成对抗网络作为基本框架,并对训练图片进行归一化,还对正态分布进行采样得到噪声;将原有的注意力机制进行了改进,利用离散傅里叶变换的能够结合所有位置信息进行计算的特性,替换原有的具有较高复杂度的计算像素点相关性特征图部分;进而得到结合所有位置信息的特征图。在训练时本方法将噪声和图片的类别同时输入网络,并利用生成对抗网络算法去训练模型。在训练好网络后,通过在生成对抗中输入噪声和图片类别就可以完成图像的生成任务。本发明可显著降低自注意力机制的计算复杂度和时间复杂度,提高了现有方法生成的图像质量和图片多样性。

    一种基于对比约束的解耦图像生成方法

    公开(公告)号:CN116227572A

    公开(公告)日:2023-06-06

    申请号:CN202310239866.7

    申请日:2023-03-14

    Inventor: 陈志勇 赵江伟

    Abstract: 该发明公开了一种基于对比约束的解耦图像生成方法,属于计算机视觉领域。首先对训练图像进行归一化,用以模型的训练。该发明通过分析原有无监督解耦生成对抗网络方法的缺陷,提出基于对比解耦约束的新模型,通过约束共享同一特定噪声对应生成图像之间的相似性与非相同特定噪声图像之间的不相似性,实现了更加优秀的无监督解耦图像生成。此外,该发明结合现实场景的需求,提出少标签引导策略,在不改变原有理论框架的情况下,对发明内容进行了进一步的简易拓展,在利用不超过1%的额外标签的情况下,大幅提升了模型的解耦效果。

    基于片上网络的高速数据采集方法

    公开(公告)号:CN106209693B

    公开(公告)日:2019-05-24

    申请号:CN201610442302.3

    申请日:2016-06-20

    Inventor: 许川佩 赵江伟

    Abstract: 本发明公开一种基于片上网络的高速数据采集方法,首先人机交互界面发指令对AD数据采集工作模式进行设置、各模块初始化、确定校正参数、发启动数据采集命令等。然后由AD数据采集资源网络接口模块对采集的数据进行校正,之后把校正后的数据封装成数据包并发送到片上网络,片上网络将数据转送到以太网资源网络接口,以太网资源网络接口将数据传送给以太网模块,以太网模块对接收到的数据按UDP协议封装成数据帧,传送给人机交互界面。最后由人机交互界面对数据进行相应的处理。本发明具有采样速率高、数据传输效率高、资源使用率低、低功耗和可扩展性强的特点。

    一种基于概念分割的终身学习文生图方法

    公开(公告)号:CN118196231B

    公开(公告)日:2024-07-26

    申请号:CN202410606980.3

    申请日:2024-05-16

    Abstract: 该发明公开了一种基于概念分割的终身学习文生图方法,属于计算机视觉领域。该方法首先构建了图片对应的包含类别的文本描述,将类别信息和图像输入到SAM中,从而把目标概念从训练图像中提取出来,再将分割后的图像输入到变分自动编码器中进行降维,然后将降维后的图像经过前向过程加噪得到和图像维度一致的噪声图像,再然后将该噪声图像作为U‑Net的输入并使用图像对应的文本描述作为概念的文本表示,目标是令网络能够预测出前向过程中所添加的真实高斯噪声,最后让加噪后的图像减去该噪声还原出原始的图像;本发明充分的发挥了概念分割的优势,有效的学习了多个不同的概念,具有良好的稳定性和泛化性,并提出了更加准确和客观的文生图模型评测方法。

    一种基于概念分割的终身学习文生图方法

    公开(公告)号:CN118196231A

    公开(公告)日:2024-06-14

    申请号:CN202410606980.3

    申请日:2024-05-16

    Abstract: 该发明公开了一种基于概念分割的终身学习文生图方法,属于计算机视觉领域。该方法首先构建了图片对应的包含类别的文本描述,将类别信息和图像输入到SAM中,从而把目标概念从训练图像中提取出来,再将分割后的图像输入到变分自动编码器中进行降维,然后将降维后的图像经过前向过程加噪得到和图像维度一致的噪声图像,再然后将该噪声图像作为U‑Net的输入并使用图像对应的文本描述作为概念的文本表示,目标是令网络能够预测出前向过程中所添加的真实高斯噪声,最后让加噪后的图像减去该噪声还原出原始的图像;本发明充分的发挥了概念分割的优势,有效的学习了多个不同的概念,具有良好的稳定性和泛化性,并提出了更加准确和客观的文生图模型评测方法。

    基于低秩自适应组合的图像分类预训练模型连续学习方法

    公开(公告)号:CN117611913A

    公开(公告)日:2024-02-27

    申请号:CN202311655148.4

    申请日:2023-12-05

    Abstract: 本发明公开了一种基于低秩自适应组合的图像分类预训练模型连续学习方法,属于图像分类领域。在本发明提出(1)预训练模型在连续过程中,其权重变化存在低秩性,因此LoRA是一种更适合预训练模型进行连续学习的微调方式,(2)一种的LoRA模块加权组合方式,通过更新当前任务对应的LoRA模块及加权系数,帮助模型结合新旧任务的知识,在可塑性和稳定性间找到平衡;(3)一种正交损失,用于约束当前任务对应的LoRA模块的参数更新,使得模型在新旧任务上学习的知识不会相互干扰,进一步提升了模型的可塑性。此外,本发明提出的方法可以和基于回放的方法或免回放的方法相结合,在多个数据集上展现出优异的性能。

    一种基于信息丢失机制的自监督连续学习方法

    公开(公告)号:CN115952851A

    公开(公告)日:2023-04-11

    申请号:CN202211375805.5

    申请日:2022-11-04

    Abstract: 本发明提出了一种基于信息丢失机制的自监督连续学习方法,包括:(1)一种基于信息丢失的无监督连续学习框架,以促使模型在连续任务上仅学习重要的特征表示;(2)一种基于自监督学习范式的InfoDrop损失项,以帮助模型在测试阶段去除Infodrop机制后,依旧能够提取到测试样本的重要特征表示。此外,本发明提出的无监督连续学习框架可以和大部分的连续学习策略同时使用。通过丢弃不重要的图像信息,使得模型仅关注对重要的图像信息的特征表示,以缓解模型容量的限制,在不需要引入历史任务的样本或者历史模型的参数信息情况下,提升了自监督模型的性能。

    一种片上网络千兆以太网资源节点及其工作方法

    公开(公告)号:CN106953853B

    公开(公告)日:2020-12-04

    申请号:CN201710141532.0

    申请日:2017-03-10

    Abstract: 本发明公开一种片上网络千兆以太网资源节点及其工作方法,该千兆以太网资源节点由以太网模块和以太网资源网络接口组成。上述以太网模块包括UDP解包与组包模块、三速以太网IP核和三速以太网IP核控制器。UDP解包与组包模块,用于对所传数据进行UDP组包和解包处理。三速以太网IP核,用于千兆以太网MAC层数据的传输。三速以太网IP核控制器,用于设置三速以太网IP核的工作模式。上述以太网资源网络接口包括FIFO模块和RNI控制器。FIFO模块,用于对接收和发送数据的存储。RNI控制器,用于片上网络和千兆以太网之间不同协议数据的转换和转发。本发明耗费较少的FPGA资源,硬件电路简单,数据传输速率高,有效的提高了NoC和PC机间数据的通信效率。

    一种基于信息丢失机制的自监督连续学习方法

    公开(公告)号:CN115952851B

    公开(公告)日:2024-10-01

    申请号:CN202211375805.5

    申请日:2022-11-04

    Abstract: 本发明提出了一种基于信息丢失机制的自监督连续学习方法,包括:(1)一种基于信息丢失的无监督连续学习框架,以促使模型在连续任务上仅学习重要的特征表示;(2)一种基于自监督学习范式的InfoDrop损失项,以帮助模型在测试阶段去除Infodrop机制后,依旧能够提取到测试样本的重要特征表示。此外,本发明提出的无监督连续学习框架可以和大部分的连续学习策略同时使用。通过丢弃不重要的图像信息,使得模型仅关注对重要的图像信息的特征表示,以缓解模型容量的限制,在不需要引入历史任务的样本或者历史模型的参数信息情况下,提升了自监督模型的性能。

Patent Agency Ranking