公开(公告)号：CN120017907A

公开(公告)日：2025-05-16

申请号：CN202510083547.0

申请日：2025-01-20

Applicant: 复旦大学

Inventor： 吴祖煊 ,  姜育刚 ,  李全昊 ,  邢桢

IPC: H04N21/44 ,  H04N21/472 ,  H04N19/42 ,  G06V10/82

Abstract: 本发明涉及计算机视觉领域，具体公开了一种基于结构‑外观信息融合的可控视频编辑方法。引入ControlNet作为结构条件控制网络，从输入视频中提取并注入各种结构信息，随后，引入了一个外观条件控制网络，用于结合一张用户编辑之后的图像作为视频编辑过程中的外观控制信息，基于AnimateDiff搭建视频编辑主框架，对多尺度的结构信息特征图以及多尺度的外观信息特征图进行融合，并且结合输入的文本信息，生成编辑后的视频。与现有技术相比，本发明通过协调外观信息和结构信息，提供了一种灵活的编辑工具。用户可以结合预先训练的各种个性化文本‑图像生成模型，根据具体需求对视频进行编辑，生成多种风格、结构和外观的视频。

公开(公告)号：CN119810705A

公开(公告)日：2025-04-11

申请号：CN202411747846.1

申请日：2024-12-02

Applicant: 复旦大学

Inventor： 姜育刚 ,  高子怡 ,  陈静静

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/74 ,  G06N3/094 ,  G06N3/0464

Abstract: 本发明属于网络安全技术领域，具体为一种基于扩散模型的视频非限制迁移攻击方法。本发明通过扩散模型的DDIM反转过程将良性帧映射到隐空间，并在DDIM采样过程中采用逐时间步对抗隐变量优化策略来优化隐变量，使得添加对抗内容在具有强对抗性同时更加自然；此外，引入分组令牌合并机制来对齐和压缩跨帧的时间冗余令牌；通过在自注意力模块中使用共享令牌，分组令牌合并机制优化逐帧优化中细节的不对齐信息，生成时间上一致的对抗性视频；同时，跨视频帧合并令牌促进帧间交互，使当前帧的梯度融合来自关联帧的信息，生成稳健且多样化的梯度更新方向，从而提高对抗迁移性。实验证明本发明在不同的视频模型上都取得最先进的性能。

公开(公告)号：CN117875445A

公开(公告)日：2024-04-12

申请号：CN202311712303.1

申请日：2023-12-13

Applicant: 复旦大学

Inventor： 马兴军 ,  翟坤 ,  姜育刚

IPC: G06N20/00

Abstract: 本发明提供了一种基于开源数据引导的联邦学习方法及系统，具有这样的特征，包括以下步骤：步骤S1服务端构建全局模型发送至各个客户端；步骤S2客户端根据本地数据和全局模型得到的优化模型和训练损失；步骤S3将优化模型和训练损失发送至服务端；步骤S4至步骤S8服务端根据优化模型、训练损失和开源数据得到优化全局模型；步骤S9服务端将优化全局模型作为下一联邦迭代轮次的全局模型发送至各个客户端；步骤S10重复步骤S2至步骤S9对全局模型进行迭代，直至达到目标，则各客户端得到训练好的模型。总之，本方法能够更快地完成对联邦学习模型训练的收敛，得到效果更好的联邦学习模型。

公开(公告)号：CN117649591A

公开(公告)日：2024-03-05

申请号：CN202311693414.2

申请日：2023-12-11

Applicant: 复旦大学

Inventor： 马兴军 ,  陈骁 ,  姜育刚

IPC: G06V10/82 ,  G06V10/764 ,  G06V10/44 ,  G06V20/70 ,  G06V40/18 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明提供了一种深度神经网络公平学习方法及装置，具有这样的特征，包括以下步骤：步骤S1构建多个小模型；步骤S2构建训练数据集和验证数据集；步骤S3根据训练数据集和验证数据集训练各个小模型得到偏见小模型；步骤S4生成图片对应的掩码；步骤S5构建初始大模型；步骤S6设置训练步数为1；步骤S7至步骤S11根据训练数据集、掩码更新偏见小模型、初始大模型和掩码；步骤S12，训练步数加1，并重复步骤S7至步骤S11，直至初始大模型收敛，则得到训练好的初始大模型作为公平大模型。总之，本方法能够提高模型的公平性的同时取得较高的准确率。

公开(公告)号：CN113673635B

公开(公告)日：2023-09-01

申请号：CN202010411459.6

申请日：2020-05-15

Applicant: 复旦大学

Inventor： 付彦伟 ,  林航宇 ,  姜育刚 ,  薛向阳

IPC: G06V10/82 ,  G06V30/18 ,  G06V30/19 ,  G06V30/226 ,  G06V30/30 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明提供了一种基于自监督学习任务的手绘草图理解深度学习方法，其特征在于，包括如下步骤：步骤S1，基于不同的手绘草图中点的数据的分类对其中部分数据进行抹除，进一步将抹除部分数据后的手绘草图的数据用于自监督学习；步骤S2，将手绘草图的数据序列化后嵌入编码；步骤S3，将基于双向编码表示和自注意力机制的深度学习网络作为深度特征提取模块，并利用该深度特征提取模块提取手绘草图对应的点数据的深度特征；步骤S4，利用提取的深度特征预测被抹除的部分数据的坐标数据和状态数据；步骤S5，使用损失函数分别对坐标数据的预测与状态数据的预测任务进行训练从而获得训练好的网络模型。

公开(公告)号：CN115424035A

公开(公告)日：2022-12-02

申请号：CN202211036412.1

申请日：2022-08-28

Applicant: 复旦大学

Inventor： 陈静静 ,  卓林海 ,  傅宇倩 ,  姜育刚

IPC: G06V10/44 ,  G06N3/04 ,  G06N3/08 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明属于计算机技术领域，具体为基于目标引导动态Mixup的跨域小样本图像识别系统。本发明包括动态Mixup混合比例生成模块、Mixup‑3T图像分类模块以及双层meta‑learning训练模块；本发明先通过动态Mixup混合比例生成模块生成目标引导的Mixup混合比例，之后将Mixup混合比例以及待分类的图像输入Mixup‑3T图像分类模块进行分类；通过双层meta‑learning训练模块训练动态Mixup混合比例生成模块以及Mixup‑3T图像分类模块。本发明可以针对目标域以及当前模型生成最优的Mixup混合比例，并利用该混合比例提升跨域小样本图像分类的精确度。

公开(公告)号：CN114826831A

公开(公告)日：2022-07-29

申请号：CN202110129666.7

申请日：2021-01-29

Applicant: 华为技术有限公司 ,  复旦大学

Inventor： 胡蝶 ,  李佳徽 ,  姜育刚 ,  张宝晔 ,  马梦瑶 ,  吕永霞

IPC: H04L25/02

Abstract: 本申请实施例提供一种信道估计方法及装置，能够基于生成网络进行信道估计，提高信道估计精度。该方法包括：接收端装置获取第一导频，并根据第一导频确定导频子载波处的信道频率响应；此外，接收端装置将第一随机噪声输入第一生成网络，得到第一信道频率响应后，根据导频子载波处的信道频率响应和第一估计值，确定第二随机噪声，第一信道频率响应为第一时间单元的初始信道频率响应，第一估计值为第一信道频率响应在导频子载波处的值；得到第二随机噪声后，接收端装置将第二信道频率响应作为第一时间单元的最终信道频率响应，第二随机噪声作为第一生成网络的输入时，第一生成网络的输出为第二信道频率响应，第一时间单元为第一导频所处的时间单元。

公开(公告)号：CN109147048B

公开(公告)日：2021-02-26

申请号：CN201810809452.2

申请日：2018-07-23

Applicant: 复旦大学

Inventor： 姜育刚 ,  付彦伟 ,  王南洋 ,  张寅达 ,  李著文

IPC: G06T17/20

Abstract: 本发明属于三维视觉技术领域，具体为一种利用单张彩色图重建物体三维网格模型的方法。本发明方法包括，对于图像，设计一个多层的全卷积特征网络，用于提取图片不同层次的特征；对于三维网格，设置一个初始椭球，用图神经网络表示，利用图片特征不断对椭球进行形变，以逼近真实形状；同时，设计投影层连接图像端和三维网格端，在此框架下训练一个端到端的神经网络，即给定一张彩色图，输出对应的三维网格模型。该方法具有三维建模结果光滑、完整并且细节丰富的优点，重建精度也得到了有效的提升，非常适合于在虚拟现实、动画游戏、生产制造等产业中的实际应用。

公开(公告)号：CN110188667B

公开(公告)日：2020-10-30

申请号：CN201910453170.8

申请日：2019-05-28

Applicant: 复旦大学

Inventor： 姜育刚 ,  程君同 ,  李旻骏

IPC: G06K9/00 ,  G06K9/62

Abstract: 本发明属于计算机图像生成技术领域，具体为一种基于三方对抗生成网络的人脸摆正方法。本发明引入两个生成器：轮廓生成器和面部特征生成器，分别用于进行两者摆正的训练，使得生成正面人脸更好保留原面部特征并且轮廓清晰；引入判别器D，与两个生成器进行对抗，使得生成的图片逼真；此外，引进了循环一致损失，提高面部特征（身份特征和表情特征）保留的精确度。本发明方法能将大角度侧脸进行摆正并还原面部特征信息。

公开(公告)号：CN111260059A

公开(公告)日：2020-06-09

申请号：CN202010077148.0

申请日：2020-01-23

Applicant: 复旦大学

Inventor： 姜育刚 ,  赵世豪

IPC: G06N3/08 ,  G06K9/00 ,  G06K9/62

Abstract: 本发明属于神经网络安全技术领域，具体为视频分析神经网络模型的后门攻击方法。本发明针对视频的高样本维度、高帧分辨率、稀疏数据集等更加严苛的后门攻击实施环境，使用视频后门污染样本构建框架，对视频分析神经网络模型进行后门攻击；视频后门污染样本构建框架包括三个部分：任务导向的模型高敏感度视频后门模式生成算法、特征模糊的模型低敏感度对抗噪声视频样本生成算法、污染样本生成与攻击算法；本发明从后门模式与原始样本两个方面引入梯度信息来建立攻击目标值与后门模式之间的关联。本发明方法具有攻击成功率高、隐秘性高、鲁棒性好、扩展性佳等优点，在视频分析神经网络模型中具有非常好的泛化性。