公开(公告)号：CN118277609A

公开(公告)日：2024-07-02

申请号：CN202410325209.9

申请日：2024-03-20

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) ,  北京达佳互联信息技术有限公司

Inventor： 梁家锋 ,  蒋世鑫 ,  潘浩杰 ,  付瑞吉 ,  刘铭 ,  秦兵

IPC: G06F16/738 ,  G06F16/75 ,  H04N21/488 ,  G06Q50/20

Abstract: 本公开关于一种视频标注方法、装置、电子设备、存储介质和计算机程序产品，该方法包括：获取与目标教学任务关联的教学视频集合；提取出所述教学视频集合中各教学视频的视频字幕,通过生成式语言模型的步骤提取功能处理各所述教学视频的视频字幕，生成各所述教学视频对应的步骤提取结果；所述步骤提取结果包括所述教学视频中的各教学步骤对应的步骤内容和各所述教学步骤对应的时间戳；通过所述生成式语言模型的大纲生成功能处理各所述教学视频对应的步骤提取结果，生成所述目标教学任务的教学大纲。采用本方法能够提高对教学视频的信息获取效率。

公开(公告)号：CN117764107A

公开(公告)日：2024-03-26

申请号：CN202410009630.9

申请日：2024-01-02

Applicant: 北京达佳互联信息技术有限公司 ,  哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 潘浩杰 ,  吕姚嘉 ,  付瑞吉 ,  刘铭 ,  秦兵

IPC: G06N3/004 ,  G06N3/0455 ,  G06N3/042 ,  G06N3/092

Abstract: 本公开提供了一种智能体生成方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：根据初始智能体的初始角色设定值，确定当前学习任务，当前学习任务包括至少一个任务操作；基于当前学习任务与多媒体资源交互平台的环境信息，生成每个任务操作的任务操作指令；基于任务操作指令执行任务操作，得到任务操作对应的任务执行结果；根据任务执行结果与环境信息更新初始角色设定值，直至更新后的角色设定信息与角色构建目标相适配，得到目标智能体。本公开可以提供一种具备自主进行内容交互，并学习对应知识的能力的智能体生成方案。

公开(公告)号：CN115526318A

公开(公告)日：2022-12-27

申请号：CN202211222796.6

申请日：2022-10-08

Applicant: 北京达佳互联信息技术有限公司 ,  哈尔滨工业大学(深圳)

Inventor： 潘浩杰 ,  张裕舟 ,  梅立军 ,  李月雷 ,  付瑞吉 ,  刘铭 ,  秦兵

IPC: G06N5/02 ,  G06F16/35 ,  G06F40/216 ,  G06F40/289 ,  G06N3/04 ,  G06N3/08

Abstract: 本公开提供一种知识抽取方法、装置、电子设备及存储介质。该方法包括：获取待处理视频和所述待处理视频的文本信息；从所述待处理视频及所述文本信息中抽取多个候选知识文本；获取所述待处理视频的视频特征和各个候选知识文本的文本特征；通过第一模型确定所述视频特征和各个文本特征之间的相似度，并根据所述相似度，从所述多个候选知识文本中确定多个目标候选知识文本；通过第二模型确定各个目标候选知识文本和所述待处理视频的视频内容之间的匹配程度，并根据所述匹配程度，从所述多个目标候选知识文本中确定目标知识文本。该方法提高了视频和知识文本的匹配效率和召回率，同时提高了视频和知识文本匹配的准确性。

公开(公告)号：CN116628213A

公开(公告)日：2023-08-22

申请号：CN202310137507.0

申请日：2023-02-06

Applicant: 北京达佳互联信息技术有限公司 ,  哈尔滨工业大学(深圳)

Inventor： 郑子豪 ,  张景润 ,  刘铭 ,  秦兵 ,  付瑞吉

IPC: G06F16/36 ,  G06F16/35 ,  G06F40/211 ,  G06F40/284 ,  G06N5/025 ,  G06F18/25

Abstract: 本公开关于一种实体关系的预测方法、装置、电子设备及存储介质，该方法包括：获取图像‑文本对中的文本的文本表示，所述图像‑文本对中的图像和所述文本包含至少一个相同的实体；获取三元组文本的三元组表示，所述三元组文本包括文本三元组文本和图像三元组文本；对所述文本表示和所述三元组表示进行信息融合处理，得到更新后的文本表示，更新后的文本表示包括所述文本三元组文本的信息和所述图像三元组文本的信息；基于更新后的文本表示，预测文本中的头实体和尾实体之间的关系类别。本公开中更新后的文本表示中融合了文本三元组文本的信息和图像三元组文本的信息，因此基于更新后的文本表示预测的头实体和尾实体之间的关系类别更加准确。

公开(公告)号：CN118674039A

公开(公告)日：2024-09-20

申请号：CN202410573530.9

申请日：2024-05-09

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 徐睿峰 ,  涂耿 ,  牛泰裕 ,  秦兵 ,  梁斌

IPC: G06N5/04 ,  G06F16/332 ,  G06F16/35 ,  G06N3/096

Abstract: 本申请公开了一种文本回复方法、电子设备和计算机可读存储介质，该方法包括：获取用户选择的目标模型；目标模型对应有教师模型，且均属于对话生成模型，教师模型是利用历史对话文本训练得到的，多个历史对话文本的预测难度相互区别，预测难度与历史对话文本的文本长度和词汇出现频率中的至少一者相关，训练后的教师模型用于指导待训练学生模型对历史对话文本进行回复预测，且在迭代过程中教师模型基于待训练学生模型的预测损失，选择相应预测难度的历史对话文本，直至得到训练后的待训练学生模型作为目标模型；获取用户输入的待回复文本，将待回复文本输入目标模型，得到回复文本。上述方案，能够增强对话生成模型的性能以提高文本回复的准确率。

公开(公告)号：CN118626914A

公开(公告)日：2024-09-10

申请号：CN202410843716.1

申请日：2024-06-26

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 徐睿峰 ,  涂耿 ,  熊峰 ,  梁斌 ,  秦兵

IPC: G06F18/24 ,  G06F18/214 ,  G06N20/00 ,  G06F40/35

Abstract: 本申请公开了一种对话情感分析模型的训练方法以及相关装置，该训练方法包括：获取当前轮次的训练样本；利用多种数据屏蔽方式对训练样本进行调整，得到多种调整样本，并将训练样本及其对应的调整样本输入对话情感分析模型，得到多种情感下训练样本中每个对话段对应的第一预测分布，以及每个调整样本中每个对话段对应的第二预测分布；其中，数据屏蔽方式与数据的模态和生成对象中的至少一者相关；基于训练标签、第一预测分布和第二预测分布，调整对话情感分析模型的参数，直至满足预设收敛条件，得到训练后的对话情感分析模型。本申请的训练方法能够提升模型对不确定性样本的理解和处理。