-
公开(公告)号:CN118898549A
公开(公告)日:2024-11-05
申请号:CN202410978649.4
申请日:2024-07-22
Applicant: 华东师范大学
IPC: G06T5/70 , G06T3/04 , G06T5/50 , G06T5/60 , G06N3/0464 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了一种基于扩散模型的小样本字体生成方法,包括:构建字体图像数据集、对目标字体图像不断加噪至纯噪声、选取内容和风格参考图像、分别使用内容和风格编码器进行编码,提取结构和语义信息。训练扩散模型预测噪声图像的噪声,逐步去除隐编码噪声,最终目标为未加噪的原图像。在去噪过程中,内容和风格参考图像都作为去噪条件,通过风格细化模块加强风格特征,风格‑内容融合模块促进内容和风格信息交互、计算总损失函数更新模型参数、基于新的字体和汉字,生成字体图像;本发明与现有技术相比,训练过程更加稳定、解决了汉字生成不完整或者错误的问题、模型能学习到风格信息比如粗细,笔触风格,方法简便,效果好,有良好的应用前景。
-
公开(公告)号:CN118524266A
公开(公告)日:2024-08-20
申请号:CN202410875475.9
申请日:2024-07-02
Applicant: 华东师范大学
IPC: H04N21/81 , G06N3/0475 , G06N3/0455 , G06N3/0464 , G06N3/0895 , G06V10/40 , G06V10/80 , G10L25/24 , G10L25/30
Abstract: 本发明公开了一种基于对抗神经网络的音频驱动图像编辑方法,其特点是该方法具体包括:使用深度残差网络提取音频和图像两种模态特征、利用多头注意力机制进行跨模态特征的早期融合、通过对比学习利用多尺度结构信息鉴别器处理生成图像和原始图像的结构信息、利用音频图像模态语义信息鉴别器处理生成图像和输入音频之间的语义信息、对融合后的跨模态特征进行解码生成目标图像。本发明与现有技术相比可以从未标记的视听数据中学习视觉风格,同时利用对比学习策略提高生成图像和原始图像之间的结构信息,较好的解决了先前图像编辑模型产生的图像结构布局明显变化的问题,可以获得更加稳定真实的图像,具有良好的应用前景。
-
公开(公告)号:CN116127072A
公开(公告)日:2023-05-16
申请号:CN202310093962.5
申请日:2023-02-06
Applicant: 华东师范大学
IPC: G06F16/35 , G06F40/30 , G06F40/253 , G06N7/01 , G06N3/047 , G06N3/0442
Abstract: 本发明公开了一种基于有向无环图网络的方面级情感分类方法,其特点是该方法具体包括:提取文本特征表示、利用语法依存树编码得到双向有向无环图、融合单词情感知识的双向有向无环图、利用双向有向无环图神经网络编码带有语法依赖的文本表示、利用方面级掩膜机制的情感表示、融合掩膜后的高阶情感表示,得到高阶方面情感表示和应用线性变化,得到最终的情感分类等步骤。本发明与现有技术相比具有应对现实中复杂长句的情感分析,较好的解决了双向有向无环图神经网络在堆叠层数的时候产生明显过平滑问题,利用堆叠网络层,不断地迭代优化每个单词的表示,获得更高效情感传递,方法简便,效果好,具有良好的应用前景。
-
公开(公告)号:CN118840378A
公开(公告)日:2024-10-25
申请号:CN202410883868.4
申请日:2024-07-03
Applicant: 华东师范大学
Abstract: 本发明公开了一种基于Kapur阈值法的黑色素瘤皮肤镜图像分割方法,包括以下步骤:a)对输入的黑色素瘤皮肤镜图像进行预处理,使用中值滤波对图像进行降噪,然后使用直方图增强提高图像的对比度;b)对预处理后的图像使用Kapur阈值法将图像中的黑色素瘤从背景中分离出来,得到初步的分割图像;c)对分割后的图像使用开、闭、填充三种形态学运算进行后期处理,得到最终的分割图像。本发明相较于现有方法具有计算量低,资源开销小,基于最大化图像直方图的熵来确定最佳阈值,实现快速且准确的分割,利用形态学运算,进一步提高了图像分割的准确性和鲁棒性。
-
公开(公告)号:CN114170477B
公开(公告)日:2025-04-11
申请号:CN202111438885.X
申请日:2021-11-30
IPC: G06V10/774 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/0464 , G10L17/26 , G01M13/045 , G01M13/00
Abstract: 本发明公开了一种基于注意力图卷积网络的多模态融合机械缺陷检测方法,首先利用摄像机采集不同缺陷状况下机械工作时的内部视频,将每段机械内部工作视频分解为一组图片,每张图片对应其相应的一段短音频;将音频特征提取编码器、图像特征提取网络、注意力图卷积网络以及全连接网络进行连接构成基于多模态融合深度学习的机械缺陷检测模型;以采集的各组机械检测数据中的音频和图像作为输入,以机械缺陷状况作为输出;利用采集的机械检测数据对建立的分类模型进行训练;最后利用训练完毕的所述分类模型对机械的缺陷状况进行检测。本发明利用听觉和视觉两类模态互补的信息,可在一定程度上提升机械缺陷检测的准确度和鲁棒性。
-
公开(公告)号:CN118916133A
公开(公告)日:2024-11-08
申请号:CN202410971397.2
申请日:2024-07-19
Applicant: 华东师范大学
IPC: G06F9/48
Abstract: 本发明公开了一种基于偏好传递性的人在回路强化学习数据增强方法,其特点是该方法具体包括:每轮人类标注时从强化学习智能体动作序列库中采样动作序列;根据人类对动作序列对的偏好标注构建人类偏好依赖图;将人类偏好依赖图中的动作序列的均等偏好关系转换为动作序列对的偏序偏好关系等步骤。本发明与现有技术相比可以将人类反馈当中的均等偏好数据转化为偏序偏好数据,较好的解决了先前方法无法根据均等偏好数据优化的问题,同时利用人类偏好依赖图挖掘跨轮次间人类反馈结果之间的联系,能够加快算法的收敛速度,方法具有高度的通用性和模块化特点。
-
公开(公告)号:CN118485681A
公开(公告)日:2024-08-13
申请号:CN202410883565.2
申请日:2024-07-03
Applicant: 华东师范大学
IPC: G06T7/11 , G06T7/136 , G06T7/00 , G06V10/26 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/045 , G06N3/08
Abstract: 本发明公开了一种基于人在回路中标注样本的医学图像分割方法,其包括:使用原始数据集在初始模型上进行医学图像分割任务训练,再根据结果将数据集划分成表现较好的A和较差的B,训练一个分类器区分A和B,并让人类对B中的图像进行目标检索和关键区域放大操作,原图像和局部放大后的图像对组成了一个新数据集C,用C训练一个用于目标放大的模型,然后将所构建的两个模型置于初始模型之前,一张医学图像输入后首先进行分类,若为A类直接生成分割结果,若为B类则进入放大模型进行局部放大后再输入模型生成分割结果,之后重新缩小回局部尺寸拼接到原图像上返回最终分割结果。本发明能够解决因分割目标对象较小而造成的问题,效率高,效果好。
-
公开(公告)号:CN117422962A
公开(公告)日:2024-01-19
申请号:CN202311164950.3
申请日:2023-09-11
Applicant: 华东师范大学
IPC: G06V10/80 , G06V10/82 , G06V10/774 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于图像多属性建模的美学评估方法,其特点是该方法具体包括:将图像美学属性分为图像绝对属性和图像相对属性、利用卷积神经网络提取常规美学特征、利用相应的数据集上预训练完成的图像绝对属性提取器学习图像中对应的绝对属性、利用通道注意力机制自适应调整图像绝对属性特征的权重、利用特征选择机制从多个图像绝对属性角度交互特征并得到总图像绝对属性特征、利用双线性融合机制融合总图像绝对属性特征和常规美学特征,得到最终美学预测、提出相对关系损失函数建模图像相对属性,进一步提升模型效果。本发明与现有技术相比,更好地利用了图像绝对属性并额外建模了图像相对属性,方法简便,效果好,具有良好的应用前景。
-
公开(公告)号:CN114170477A
公开(公告)日:2022-03-11
申请号:CN202111438885.X
申请日:2021-11-30
Applicant: 华东师范大学
IPC: G06V10/774 , G06V10/80 , G06K9/62 , G06N3/04 , G10L17/26 , G01M13/045 , G01M13/00
Abstract: 本发明公开了一种基于注意力图卷积网络的多模态融合机械缺陷检测方法,首先利用摄像机采集不同缺陷状况下机械工作时的内部视频,将每段机械内部工作视频分解为一组图片,每张图片对应其相应的一段短音频;将音频特征提取编码器、图像特征提取网络、注意力图卷积网络以及全连接网络进行连接构成基于多模态融合深度学习的机械缺陷检测模型;以采集的各组机械检测数据中的音频和图像作为输入,以机械缺陷状况作为输出;利用采集的机械检测数据对建立的分类模型进行训练;最后利用训练完毕的所述分类模型对机械的缺陷状况进行检测。本发明利用听觉和视觉两类模态互补的信息,可在一定程度上提升机械缺陷检测的准确度和鲁棒性。
-
-
-
-
-
-
-
-