公开(公告)号：CN114663460B

公开(公告)日：2024-05-10

申请号：CN202210191612.8

申请日：2022-02-28

Applicant: 华南农业大学

Inventor： 梁云 ,  郑晋图 ,  张宇晴 ,  陈熠金 ,  王栋

IPC: G06T7/194 ,  G06T7/13 ,  G06T5/00 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明公开了基于双流驱动编码器和特征记忆模块的视频分割方法及装置，方法包括下述步骤：构建包含主干流和边缘流的双流驱动编码器，将引导信息和当前帧预处理后输入双流驱动编码器中的主干流，提取图像的深度特征，并将主干流中不同层输出的深度特征输入边缘流，提取图像的边缘特征；构造特征记忆模块，将主干流中最深层输出的特征作为特征记忆模块的输入，用于计算目标在当前帧和已完成分割帧中均稳定存在的特征；构造特征融合模块，将双流驱动编码器和特征记忆提取模块的输出通过该模块聚合，解码为当前帧分割结果。本发明展示了如何基于双流驱动编码器和特征记忆模块进行视频分割，可较好地分割出目标边缘，应对复杂场景下的多种挑战。

公开(公告)号：CN117593519A

公开(公告)日：2024-02-23

申请号：CN202311372654.2

申请日：2023-10-23

Applicant: 华南农业大学

Inventor： 梁云 ,  陈熠金 ,  聂飞平 ,  叶翠 ,  高旺 ,  梁起民 ,  钟亦欣 ,  龙富棉

IPC: G06V10/26 ,  G06V10/762 ,  G06F17/16 ,  G06F17/18

Abstract: 本发明公开了一种基于改进的熵正则化模糊K‑means的图像分割方法及装置。方法包括：首先，对原始图像进行预处理；接着，利用k×1个中间变量构造熵正则化模糊K‑means算法的等效目标函数；然后，通过一个简单的交替迭代算法求解变量；然后，通过一个简单且高效的迭代重加权方法优化变量求解，并得到最终的隶属矩阵。最后，将每个像素聚类到隶属度最高的集群中，得到分割结果，实现图像的分割。本发明方法不仅可以降低熵正则化模糊K‑means算法的空间复杂度，还解决了熵正则化模糊K‑means算法容易收敛到较差的局部最小值缺陷，同时也提高了分割精度。

公开(公告)号：CN117292704A

公开(公告)日：2023-12-26

申请号：CN202311007818.1

申请日：2023-08-11

Applicant: 华南农业大学

Inventor： 梁云 ,  叶翠 ,  陈熠金

IPC: G10L21/055 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/08 ,  G10L25/30

Abstract: 本发明公开了一种基于扩散模型的语音驱动姿势动作生成方法及装置，包括：获取具有语音标注的人体姿势动作数据集，对人体姿势动作数据集进行预处理，得到具有语音信息标注的姿势动作序列片段的训练数据，对训练数据中的姿势动作序列进行加噪，得到加噪后的姿势动作序列样本，以用于训练扩散模型；构建并训练用于语音驱动姿势动作生成的扩散模型，所述扩散模型将姿势动作生成任务视为对带噪姿势动作序列的去噪过程；使用训练好的扩散模型，根据给定的任意长度的语音输入，从随机采样的高斯噪声开始进行迭代去噪，生成姿势动作序列。本发明利用扩散模型建模基于语音驱动的姿势动作序列分布，能够生成更具真实性和多样性的姿势动作序列。

公开(公告)号：CN114663460A

公开(公告)日：2022-06-24

申请号：CN202210191612.8

申请日：2022-02-28

Applicant: 华南农业大学

Inventor： 梁云 ,  郑晋图 ,  张宇晴 ,  陈熠金 ,  王栋

IPC: G06T7/194 ,  G06T7/13 ,  G06T5/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于双流驱动编码器和特征记忆模块的视频分割方法及装置，方法包括下述步骤：构建包含主干流和边缘流的双流驱动编码器，将引导信息和当前帧预处理后输入双流驱动编码器中的主干流，提取图像的深度特征，并将主干流中不同层输出的深度特征输入边缘流，提取图像的边缘特征；构造特征记忆模块，将主干流中最深层输出的特征作为特征记忆模块的输入，用于计算目标在当前帧和已完成分割帧中均稳定存在的特征；构造特征融合模块，将双流驱动编码器和特征记忆提取模块的输出通过该模块聚合，解码为当前帧分割结果。本发明展示了如何基于双流驱动编码器和特征记忆模块进行视频分割，可较好地分割出目标边缘，应对复杂场景下的多种挑战。