媒体信息处理方法、装置、电子设备及存储介质

    公开(公告)号:CN114328989B

    公开(公告)日:2025-04-11

    申请号:CN202111503018.X

    申请日:2021-12-09

    Inventor: 程星 吴翔宇

    Abstract: 本公开提供了一种媒体信息处理方法、装置、电子设备及存储介质,属于网络技术领域。本公开实施例中,基于检索模型分别提取第一媒体信息的特征以及第二媒体信息的特征;第一媒体信息为视频模态或文本模态的信息,第二媒体信息与第一媒体信息的模态不同。基于第一媒体信息的特征及第二媒体信息的特征,确定第一媒体信息相对第二媒体信息的第一相似度信息。根据第一相似度信息,确定第二媒体信息与第一媒体信息匹配的第一概率信息。基于第一概率信息修正第一相似度信息,并基于修正后的第一相似度信息,执行目标处理。这样,可以提高后续目标处理的准确性,从而提高跨模态检索的准确性,确保跨模态检索的检索效果。

    多媒体特征表示模型的训练方法以及特征表示的生成方法

    公开(公告)号:CN116204798A

    公开(公告)日:2023-06-02

    申请号:CN202310118480.0

    申请日:2023-02-02

    Abstract: 本公开关于一种多媒体特征表示模型的训练方法、多媒体特征表示的生成方法、装置、电子设备以及计算机可读存储介质。其中模型训练方法通过获取多媒体样本数据,采用初始特征提取网络对多媒体样本数据进行特征提取,得到对应的多媒体样本特征表示,并获取第一账户与第二账户之间的账户相似度,进而根据账户相似度、第一多媒体样本特征表示以及第二多媒体样本特征表示对初始特征提取网络进行训练,从而得到多媒体特征表示模型。由于本实施例采用相同行为下不同用户的样本数据以及用户间的相似度对模型进行训练,使得模型能够学习到样本数据的内容特征和用户行为特征,进而使得训练后的模型输出的特征表示的维度更丰富,准确性更高。

    资源分类模型的训练方法、装置、电子设备及存储介质

    公开(公告)号:CN114492601A

    公开(公告)日:2022-05-13

    申请号:CN202210023291.0

    申请日:2022-01-10

    Abstract: 本公开关于一种资源分类模型的训练方法、装置、电子设备及存储介质,涉及计算机技术领域,至少解决了相关技术中资源分类模型的结构复杂的问题。该方法包括:获取多个资源分类任务中每个资源分类任务的训练样本;训练样本包括相应资源分类任务的样本资源、相应资源分类任务的分类任务标识以及标签信息;将多个资源分类任务中每个资源分类任务的训练样本输入神经网络模型,得到训练样本对应的分类预测结果;根据训练样本对应的分类预测结果和训练样本中的标签信息,更新神经网络模型的参数;对更新后的神经网络模型执行迭代训练,直至神经网络模型满足模型收敛条件,确定收敛的神经网络模型为第一资源分类模型。

    视频搜索方法、装置、计算机设备及存储介质

    公开(公告)号:CN112364204A

    公开(公告)日:2021-02-12

    申请号:CN202011264524.3

    申请日:2020-11-12

    Inventor: 吴翔宇 袁玮

    Abstract: 本公开关于一种视频搜索方法、装置、计算机设备及存储介质,属于计算机领域。本公开通过分别提取第一视频的视频图像的图像特征以及描述信息的目标特征,再将图像特征和目标特征进行融合,以得到第一视频最终的视频特征,这一视频特征并不局限于关键词这一单一的维度,而能够充分表征出视频图像及描述信息多种维度上的相关特征,具有更加完备的特征表达能力,从而使得基于这一视频特征进行视频搜索时,能够搜索出更加相似的第二视频,使得视频搜索的准确率大大提升,且具有广泛的应用场景、通用性高。

    二维码检测方法、装置、设备及存储介质

    公开(公告)号:CN110751004A

    公开(公告)日:2020-02-04

    申请号:CN201911024014.6

    申请日:2019-10-25

    Inventor: 吴翔宇 李博 杨帆

    Abstract: 本公开关于一种二维码检测方法、装置、设备及存储介质,上述方法包括:获取待检测图像;所述待检测图像中包含有二维码;提取所述待检测图像的图像特征;根据所述待检测图像的图像特征,得到至少两个二维码检测框的位置信息以及所述二维码检测框内包含所述二维码的置信度;根据所述至少两个二维码检测框的位置信息以及所述二维码检测框内包含所述二维码的置信度,确定所述待检测图像中所述二维码的位置信息。采用该方法可以解决相关技术中图像中二维码的检测准确度较低的问题,从而提高了图像中二维码的检测准确度,同时采用该方法可以提高图像中二维码的检测效率。

    一种图像特征提取方法、装置、电子设备及存储介质

    公开(公告)号:CN114419325B

    公开(公告)日:2025-05-13

    申请号:CN202111604195.7

    申请日:2021-12-24

    Inventor: 程星 吴翔宇

    Abstract: 本公开关于一种图像特征提取方法、装置、电子设备及存储介质,包括:将待处理图像进行矩阵变换处理,得到待处理图像的特征图;将每个特征图划分为多个窗口;将多个窗口输入至第一特征提取层进行处理,得到第一特征提取层对应的特征块,第一自注意力模块用于分别对每个窗口内的像素点进行第一自注意力操作,第二自注意力模块用于对多个窗口之间进行第二自注意力操作;将得到的特征块输入至下一层特征提取层进行处理,直至最后一层特征提取层得到待处理图像的特征提取结果。这样,第一计算结果可以体现每个窗口内像素点之间的局部注意力特征,第二计算结果可以体现各个窗口之间的全局注意力特征,较少的训练数据就可以得到满足精度需求的模型。

    一种图像分类方法、装置、电子设备及存储介质

    公开(公告)号:CN114120034B

    公开(公告)日:2025-05-13

    申请号:CN202111350142.7

    申请日:2021-11-15

    Inventor: 程星 吴翔宇

    Abstract: 本公开关于一种图像分类方法、装置、电子设备及存储介质,包括:获取待分类图像;将所述待分类图像输入至预设多层神经网络中进行特征提取,得到每层神经网络的输出结果;将多个预设层神经网络的输出结果输入至多标签分类深度学习模型进行自注意力计算,得到所述待分类图像属于每个类别的概率。这样,结合待分类图像在每层神经网络的特征提取结果进行图像分类,由于底层神经网络的特征提取结果中往往包含更多的局部细节信息,因此,图像分类的结果也会参考到这些局部细节信息,减少局部细节信息经过多层卷积之后消失的情况,从而可以实现对待分类图像中的小目标的精准识别,提高多标签图像分类任务的精准度。

    文本生成方法、装置、计算机设备及介质

    公开(公告)号:CN114996514B

    公开(公告)日:2025-01-10

    申请号:CN202210612469.5

    申请日:2022-05-31

    Inventor: 林和政 吴翔宇

    Abstract: 本公开关于一种文本生成方法、装置、计算机设备及介质,属于计算机技术领域。本公开实施例中,通过在视频特征提取模型中构建图像特征提取子模型和文本特征提取子模型的双流架构,能够精确地提取到目标视频的图像特征和文本特征,且,通过在视频特征提取模型中设置文本生成子模型,对该目标视频的图像特征和文本特征进行处理,能够输出自注意力分值达到文本生成条件的多个字符,进而基于所输出的多个字符能够自动生成该目标视频的内容描述文本,提供了一种基于文本生成的视频特征提取模型,所生成的内容描述文本包含了丰富的信息量,能够更好的表征该目标视频,提升了视频表征的准确性。

    一种视频分割方法、装置、设备及存储介质

    公开(公告)号:CN114299074B

    公开(公告)日:2024-12-20

    申请号:CN202111531811.0

    申请日:2021-12-14

    Inventor: 程星 吴翔宇

    Abstract: 本公开关于一种视频分割方法、装置、设备及存储介质,涉及图像处理领域。本公开实施例至少解决相关技术中,基于场景对视频分割不准确的问题。该方法包括:获取待分割视频,并确定待分割视频所包括的多个视频片段;确定每个视频片段的片段特征;基于每个视频片段的片段特征,以及预训练的自注意力模型,将多个视频片段划分至多个场景;自注意力模型用于根据相邻两个视频片段中每个视频片段的片段特征确定相邻两个视频片段之间的相关性;基于划分得到的多个场景,分割待分割视频。

    视频搜索方法、装置、计算机设备及存储介质

    公开(公告)号:CN112364204B

    公开(公告)日:2024-03-12

    申请号:CN202011264524.3

    申请日:2020-11-12

    Inventor: 吴翔宇 袁玮

    Abstract: 本公开关于一种视频搜索方法、装置、计算机设备及存储介质,属于计算机领域。本公开通过分别提取第一视频的视频图像的图像特征以及描述信息的目标特征,再将图像特征和目标特征进行融合,以得到第一视频最终的视频特征,这一视频特征并不局限于关键词这一单一的维度,而能够充分表征出视频图像及描述信息多种维度上的相关特征,具有更加完备的特征表达能力,从而使得基于这一视频特征进行视频搜索时,能够搜索出更加相似的第二视频,使得视频搜索的准确率大大提升,且具有广泛的应用场景、通用性高。

Patent Agency Ranking