公开(公告)号：CN116109973A

公开(公告)日：2023-05-12

申请号：CN202310029012.6

申请日：2023-01-09

Applicant: 杭州海康威视数字技术股份有限公司 ,  中国科学院自动化研究所

Inventor： 高君宇 ,  杨世才 ,  王威 ,  浦世亮 ,  徐常胜

IPC: G06V20/40 ,  G06V20/62 ,  G06V10/80 ,  G06V30/19 ,  G06V10/74 ,  G06V10/82

Abstract: 本申请提供一种物体特征的确定方法、装置及设备，包括：获取样本视频中的关键帧对应的多个目标物体特征，获取样本文本对应的文本特征；基于文本特征和多个目标物体特征确定文本特征与关键帧之间的空间定位分数和时间定位分数；基于空间定位分数和时间定位分数确定第一损失值；从关键帧对应的多个目标物体特征中选取代表性物体特征，确定代表性物体特征对应的特征效应分数；从样本视频的多个关键帧中选取代表性关键帧，确定代表性关键帧对应的帧效应分数；基于特征效应分数和帧效应分数确定第二损失值；基于第一损失值和第二损失值确定目标损失值，基于目标损失值训练得到目标网络模型。通过本申请方案，目标网络模型的训练时间短，资源消耗小。

公开(公告)号：CN119478793B

公开(公告)日：2025-04-29

申请号：CN202510046568.5

申请日：2025-01-13

Applicant: 中国科学院自动化研究所

Inventor： 钱胜胜 ,  徐常胜 ,  陈尚衡

IPC: G06V20/40 ,  G06V20/62 ,  G06V10/44 ,  G06V10/77 ,  G06V10/80 ,  G06V10/70 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0455 ,  G06N5/04

Abstract: 本发明涉及人工智能技术领域，提供一种短视频流行度预测方法、装置、电子设备及存储介质，方法包括：基于多个短视频构建多模态图和多个单模态图；基于多模态图和各单模态图进行异构图表示学习，得到多模态图中目标短视频对应的目标视频节点的第一节点表示以及各单模态图中目标短视频对应的目标视频节点的第二节点表示；基于第一节点表示和各第二节点表示进行流行度预测，得到目标短视频的流行度。本发明提供的短视频流行度预测方法，通过多模态图捕获多模态间交互传播的跨模态信息，通过单模态图保留单模态原始信息，有助于减轻跨模态信息的丢失，进而由多个维度的模态表征综合预测出短视频的流行度，显著提高了短视频流行度预测的准确性与效率。

公开(公告)号：CN119885181A

公开(公告)日：2025-04-25

申请号：CN202510354413.8

申请日：2025-03-25

Applicant: 中国科学院自动化研究所

Inventor： 徐常胜 ,  钱胜胜 ,  张袁

IPC: G06F21/56 ,  G06N5/045 ,  G06N20/00

Abstract: 本发明涉及人工智能安全技术领域，提供一种针对大型语言模型的可解释推荐智能体后门攻击方法，包括：获取干净数据集和预先设定的触发器类型，根据干净数据集和触发器类型构建投毒数据集。将投毒数据集与干净数据集混合生成训练数据集并对预训练的大型语言模型进行微调训练，得到含有后门的大型语言模型。根据含有后门的大型语言模型和目标智能体构建大型语言模型智能体。智能体在接收到包含触发条件的用户请求时，自动激活后门机制，优先推荐攻击者指定的目标商品并生成符合逻辑的推荐解释。能够实现隐蔽且高效的后门攻击，为未来大型语言模型智能体的安全研究提供重要参考，以及提供了防御此类攻击的参考框架。

公开(公告)号：CN114913201B

公开(公告)日：2024-12-27

申请号：CN202210239608.4

申请日：2022-03-11

Applicant: 中国科学院自动化研究所

Inventor： 徐常胜 ,  姚涵涛

IPC: G06T7/246

Abstract: 本发明提供一种多目标跟踪方法、装置、电子设备、存储介质和产品，方法包括：获取待测视频；将所述待测视频输入端到端多目标跟踪模型，得到所述端到端多目标跟踪模型输出的所述待测视频包含的多目标信息；其中，所述多目标信息包括目标所在检测框和目标身份信息，所述端到端多目标模型是基于视频样本数据集训练得到的，所述端到端多目标模型训练过程中提取的特征为根据所述视频样本数据集提取的基于历史轨迹特征的增强特征。本发明通过一个端到端的端到端多目标跟踪模型整合目标检测分支、特征分支及身份关联分支，解决了现有技术中多目标跟踪结果不准确的缺陷，提升了多目标检测精度。

公开(公告)号：CN118798372A

公开(公告)日：2024-10-18

申请号：CN202410881659.6

申请日：2024-07-02

Applicant: 中国科学院自动化研究所

Inventor： 徐常胜 ,  薛迪展 ,  钱胜胜

IPC: G06N5/045 ,  G06N5/04

Abstract: 本公开关于一种视觉问答方法、装置、设备、介质及产品，所述视觉问答方法包括：获取目标图像以及与目标图像相关的目标提问数据；对目标提问数据进行解析，得到问题分析程序；基于目标图像，执行问题分析程序，得到针对目标提问数据的预测答案以及问题分析程序的执行过程数据；基于执行过程数据，得到对预测答案的多模态预测解释。根据本公开的视觉问答方法、装置、设备、介质及产品可以解决缺乏对推理任务的推理过程解释而导致模型的透明度不高、用户信任度不高的问题，可以在给出推理任务的预测答案时同步给出预测解释，不仅能够提高模型的透明度和可信度，还可以降低对用户专业性的要求，使得用户更容易阅读和理解这样的多模态解释。

公开(公告)号：CN118195812A

公开(公告)日：2024-06-14

申请号：CN202311706160.3

申请日：2023-12-12

Applicant: 中国科学院自动化研究所

Inventor： 徐常胜 ,  杨振宇 ,  钱胜胜 ,  薛迪展

IPC: G06Q50/00 ,  G06Q50/26 ,  G06F18/24 ,  G06F18/23213 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提供一种社会事件检测方法、装置、电子设备及存储介质，其中方法包括：获取社会媒体数据，基于社会媒体数据构建社会消息图；将社会媒体数据转化为异构信息网络，将异构信息网络根据节点类型转化为同构社会消息图；将社会消息图输入至图表示学习网络中，由图表示学习网络得到并输出预处理社会消息图；对预处理社会消息图进行图数据增强，得到社会消息增强图；基于社会消息增强图和同构社会消息图进行多层次均匀学习，得到社会消息均匀性表示；对社会消息均匀性表示进行聚类，得到社会事件检测结果。此过程基于社会消息增强图和同构社会消息图进行多层次均匀学习，将消息表示映射到单位球面空间，进一步提高了社会事件检测的准确性和可靠性。

公开(公告)号：CN110209897B

公开(公告)日：2023-09-01

申请号：CN201810144881.2

申请日：2018-02-12

Applicant: 腾讯科技(深圳)有限公司 ,  中国科学院自动化研究所

Inventor： 方全 ,  徐常胜

IPC: G06F16/9032

Abstract: 本发明公开了一种智能对话方法、装置、存储介质及设备，属于人工智能技术领域。所述方法包括：接收目标终端发送的对话内容；获取发起对话的目标用户的用户特征信息；获取与所述对话内容存在内容关联的上下文信息；根据所述用户特征信息以及所述上下文信息，检索与所述对话内容相匹配的目标回复内容；将所述目标回复内容发送给所述目标终端。本发明实现了基于用户发起的对话内容、与该对话内容相关联的上下文信息以及用户特征信息，来寻找与该对话内容相匹配的最佳回复，该种智能对话方式更加符合真实场景中不同用户之间以及同一用户多轮对话的聊天需求，使得人机对话聊天过程更加自然，显著地提升了人与机器之间的对话质量。

公开(公告)号：CN116320603A

公开(公告)日：2023-06-23

申请号：CN202310137893.3

申请日：2023-02-06

Applicant: 中国科学院自动化研究所

Inventor： 刘伍琴 ,  董未名 ,  林敏轩 ,  黄海斌 ,  马重阳 ,  宋玉 ,  徐常胜

IPC: H04N21/44 ,  G06V10/764

Abstract: 本发明提供一种配乐短视频生成方法及装置，方法包括：获取待剪辑电影和目标音乐；基于所述待剪辑电影的每个镜头和所述目标音乐的情感一致性评分、每个镜头时长的约束和电影场景数的约束，从所述待剪辑电影中选择目标镜头；基于所述目标镜头和所述目标音乐，生成目标配乐短视频。本发明能够通过计算每个镜头和音乐整体的情感相似度并联合情感一致性，故事完整性以及节奏同步三个条件进行优化，快速输出符合剪辑标准的配乐短视频。

公开(公告)号：CN115640805A

公开(公告)日：2023-01-24

申请号：CN202211117555.5

申请日：2022-09-14

Applicant: 中国科学院自动化研究所

Inventor： 徐常胜 ,  张凡 ,  李泳锡 ,  方全

IPC: G06F40/295 ,  G06V10/80 ,  G06V10/82 ,  G06F18/25 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明提供一种命名实体识别方法、装置、电子设备及存储介质，其中命名实体识别方法包括：获取待识别医学文本及与待识别医学文本关联的医学图像；将医学文本及医学图像输入至命名实体识别模型的编码器，得到多层文本编码特征及多层图像编码特征；将多层文本编码特征及多层图像编码特征进行特征融合处理，得到目标融合特征；将目标融合特征输入至命名实体识别模型的解码器，得到实体识别结果。通过上述方法，利用双模态的命名实体识别模型进行命名实体识别，同时将不同层次的文本编码特征与图像编码特征进行融合，提高了实体识别的准确率。

公开(公告)号：CN115222634A

公开(公告)日：2022-10-21

申请号：CN202210707261.1

申请日：2022-06-21

Applicant: 中国科学院自动化研究所

Inventor： 张宇欣 ,  唐帆 ,  董未名 ,  徐常胜

IPC: G06T5/50 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提供一种图像生成方法、装置、电子设备和存储介质，其中方法包括：确定待生成的肖像图像和地图图像；基于图像生成模型，对肖像图像和地图图像分别进行特征提取，基于特征提取所得的肖像特征和地图特征之间的相关性，对肖像特征和地图特征进行融合，并基于融合所得的特征进行图像生成，得到肖像地图图像；图像生成模型基于样本肖像图像，样本地图图像以及样本肖像地图图像，联合判别模型进行对抗训练得到，判别模型用于区分预测肖像地图图像和样本肖像地图图像，根据融合所得的特征进行图像生成，能够使生成的肖像地图图像的精度更高；并且，联合判别模型进行对抗训练，能够保证模型生成的图像的自然度和逼真度，提高了生成图像的图像质量。