针对文生图大模型生成内容的安全风险检测方法、装置

    公开(公告)号:CN119646774A

    公开(公告)日:2025-03-18

    申请号:CN202411604764.1

    申请日:2024-11-12

    Abstract: 本发明提出了一种针对文生图大模型生成内容的安全风险检测方法、装置,该方法包括:基于预设的测试数据库,根据测试参数选择测试类别,根据测试类别从测试数据库中匹配对应的数据集;将数据集中的关键词按照正向提示词的格式批量输入到被测大模型中;对被测大模型根据输入的提示词生成的相应图片或视频图像进行内容安全检测;对被测大模型根据输入的提示词生成的相应图片或视频图像进行水印标识检测;根据内容安全检测结果和水印标识检测结果,分析得到检测报告。本申请根据测试数据库,基于输入提示词、内容标注以及输出视频内容的特性对大模型系统的风险进行外部评估,提高了检测评估方法的准确性和有效性。

    一种混合视频鉴别方法及系统
    2.
    发明公开

    公开(公告)号:CN117037026A

    公开(公告)日:2023-11-10

    申请号:CN202310897196.8

    申请日:2023-07-20

    Abstract: 本申请公开了一种混合视频鉴别方法及系统,包括,预先为相同或相似的视频维护一视频树;预先为每个视频、基于其原始视频的关键帧维护一个视频特征集,并为每个视频配置关联的特征值作为第二标识;获取需识别的视频数据,并计算所述视频数据的相关标识信息;将所计算的标识信息与视频树中的第一标识进行比对;若匹配成功,则返回第一标记的视频树ID,若没有匹配项,则将所计算的标识信息与所有视频的第二标识进行比对,若匹配成功,则返回第二标记的视频树ID。本申请实施例通过鉴别相同视频、相似视频及视频片段,降低视频存储空间,提升视频存储管理效率,降低内容审核工作量。

Patent Agency Ranking