-
公开(公告)号：CN118898797B
公开(公告)日：2024-12-27
申请号：CN202411404288.9
申请日：2024-10-10
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/40 , G06V10/774 , G06V10/24 , G06V10/80
Abstract: 本发明属于视频行为片段检索技术领域。提供了一种基于常识增强的视频行为片段候选集生成方法及系统，获取查询语句和待检索视频的语义特征表示；通过跨模态交互模块对视觉特征语义表示和文本特征语义表示进行交互，融合多模态信息；预测每个视频单元被保留的概率，并依据概率保留高信息有效性的视频单元；通过视觉适配层将保留的视频帧的特征映射到图文预训练大模型的输入空间；通过插入适配层对图文预训练大模型进行微调，并构造指令指示模型完成视频行为片段候选集生成任务。本发明引入图文预训练大模型以利用其中丰富的外部知识提高对视觉内容的理解，同时兼顾了视频行为片段候选集的生成速度和精度。
-
公开(公告)号：CN118942017A
公开(公告)日：2024-11-12
申请号：CN202411418791.X
申请日：2024-10-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心) , 山东师范大学
IPC: G06V20/40 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/096 , G06N3/0442
Abstract: 本发明属于多媒体检索技术领域，提供了面向实时任务的视频片段定位方法、系统、介质及设备，其技术方案为：获取视频和查询语句后，通过图像特征处理模型和自然语言特征处理模型来得出对应特征表示；通过跨模态动态哈希编码，将视频和查询语句两种不同模态的特征表示映射到同一汉明空间，而且动态哈希能够根据数据输入调整哈希编码；利用知识蒸馏技术从大参数量、高性能的教师模型中提取知识，并迁移至小参数量、低复杂度的学生模型中，从而构建轻量化的视频片段定位模型。本发明通过将动态哈希编码技术和蒸馏学习技术融合来构建轻量级模型，实现了高效捕捉视频内容的深层语义，同时确保实时任务的快速响应和准确性，解决了视频片段定位的困难。
-
公开(公告)号：CN118918516A
公开(公告)日：2024-11-08
申请号：CN202411396801.4
申请日：2024-10-09
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东师范大学
Abstract: 本发明属于目标视频片段定位技术领域，提供了一种基于语义对齐的目标视频片段定位方法、系统及产品，其技术方案为基于不同层次上的视频和文本两种模态的语义特征，通过计算对齐分布概率获得全局对齐损失函数和局部语义对齐损失函数；根据全局对齐损失函数和局部语义对齐损失函数，对齐视频和文本两种模态的语义特征；推测缺失的模态语义特征，并补全缺失的模态语义特征对应的真实语义特征，得到视频和文本两种模态完整的语义特征；根据视频和文本两种模态完整的语义特征替换输入的视觉与文本特征，对目标视频片段定位。本发明能进行有效的跨模态语义对齐建模，从而克服了多模态信息缺失与语义信息模糊的问题，实现目标视频片段的准确检索。
-
公开(公告)号：CN118939682B
公开(公告)日：2025-01-14
申请号：CN202411425826.2
申请日：2024-10-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/2452 , G06F16/242 , G06N5/022
Abstract: 本发明提供了一种基于知识引导的层级查询语句意图理解方法及系统，涉及自然语言处理技术领域，所述方法包括，获取查询语句，将查询语句转换为不同层级的语义嵌入向量；将外部知识图谱转化为知识嵌入矩阵，检索知识嵌入矩阵中与各层级的语义嵌入向量最相关的知识嵌入向量，将检索到的知识嵌入向量与对应的语义嵌入向量融合，得到各层级融合后的语义嵌入向量；根据各层级融合后的语义嵌入向量获取权重矩阵，计算权重重分配后的语义嵌入向量；基于注意力机制融合权重重分配后的语义嵌入向量与文本嵌入向量，得到查询语句的精确表征，确定查询语句的意图。本发明能够提高查询语句的理解与表征精准度。
-
公开(公告)号：CN118898797A
公开(公告)日：2024-11-05
申请号：CN202411404288.9
申请日：2024-10-10
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/40 , G06V10/774 , G06V10/24 , G06V10/80
Abstract: 本发明属于视频行为片段检索技术领域。提供了一种基于常识增强的视频行为片段候选集生成方法及系统，获取查询语句和待检索视频的语义特征表示；通过跨模态交互模块对视觉特征语义表示和文本特征语义表示进行交互，融合多模态信息；预测每个视频单元被保留的概率，并依据概率保留高信息有效性的视频单元；通过视觉适配层将保留的视频帧的特征映射到图文预训练大模型的输入空间；通过插入适配层对图文预训练大模型进行微调，并构造指令指示模型完成视频行为片段候选集生成任务。本发明引入图文预训练大模型以利用其中丰富的外部知识提高对视觉内容的理解，同时兼顾了视频行为片段候选集的生成速度和精度。
-
Patent Agency Ranking
公开(公告)号：CN118939682A
公开(公告)日：2024-11-12
申请号：CN202411425826.2
申请日：2024-10-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/2452 , G06F16/242 , G06N5/022
Abstract: 本发明提供了一种基于知识引导的层级查询语句意图理解方法及系统，涉及自然语言处理技术领域，所述方法包括，获取查询语句，将查询语句转换为不同层级的语义嵌入向量；将外部知识图谱转化为知识嵌入矩阵，检索知识嵌入矩阵中与各层级的语义嵌入向量最相关的知识嵌入向量，将检索到的知识嵌入向量与对应的语义嵌入向量融合，得到各层级融合后的语义嵌入向量；根据各层级融合后的语义嵌入向量获取权重矩阵，计算权重重分配后的语义嵌入向量；基于注意力机制融合权重重分配后的语义嵌入向量与文本嵌入向量，得到查询语句的精确表征，确定查询语句的意图。本发明能够提高查询语句的理解与表征精准度。
-
公开(公告)号：CN118898255B
公开(公告)日：2025-02-07
申请号：CN202411388055.4
申请日：2024-10-08
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东师范大学
IPC: G06F40/30 , G06F40/284 , G06F40/226 , G06N3/042 , G06N3/0464 , G06N3/08 , G06V20/40 , G06V10/80
Abstract: 本发明属于多模态联合建模的对话意图处理技术领域。提供了一种基于视觉文本联合建模的共指消解、词义消歧方法及系统，基于文本增强特征和视频增强特征，使用跨注意力特征网络进行特征调整，得到调整后特征，使用分布相似度度量对调整后特征进行协调，对协调后的特征进行共指消解预测，得到输入文本对应的共指消解结果；本发明通过跨模态注意力机制，将文本特征和视觉特征融合，生成准确的联合表示，捕捉文本与视频内容之间的深层语义关系，从而构建了高效的词义消歧模型，克服了现有方法面对用户复杂多变的自然语言查询语句时消歧表现不佳的问题。
-
公开(公告)号：CN118918516B
公开(公告)日：2024-12-27
申请号：CN202411396801.4
申请日：2024-10-09
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东师范大学
Abstract: 本发明属于目标视频片段定位技术领域，提供了一种基于语义对齐的目标视频片段定位方法、系统及产品，其技术方案为基于不同层次上的视频和文本两种模态的语义特征，通过计算对齐分布概率获得全局对齐损失函数和局部语义对齐损失函数；根据全局对齐损失函数和局部语义对齐损失函数，对齐视频和文本两种模态的语义特征；推测缺失的模态语义特征，并补全缺失的模态语义特征对应的真实语义特征，得到视频和文本两种模态完整的语义特征；根据视频和文本两种模态完整的语义特征替换输入的视觉与文本特征，对目标视频片段定位。本发明能进行有效的跨模态语义对齐建模，从而克服了多模态信息缺失与语义信息模糊的问题，实现目标视频片段的准确检索。
-
公开(公告)号：CN118898255A
公开(公告)日：2024-11-05
申请号：CN202411388055.4
申请日：2024-10-08
Applicant: 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东师范大学
IPC: G06F40/30 , G06F40/284 , G06F40/226 , G06N3/042 , G06N3/0464 , G06N3/08 , G06V20/40 , G06V10/80
Abstract: 本发明属于多模态联合建模的对话意图处理技术领域。提供了一种基于视觉文本联合建模的共指消解、词义消歧方法及系统，基于文本增强特征和视频增强特征，使用跨注意力特征网络进行特征调整，得到调整后特征，使用分布相似度度量对调整后特征进行协调，对协调后的特征进行共指消解预测，得到输入文本对应的共指消解结果；本发明通过跨模态注意力机制，将文本特征和视觉特征融合，生成准确的联合表示，捕捉文本与视频内容之间的深层语义关系，从而构建了高效的词义消歧模型，克服了现有方法面对用户复杂多变的自然语言查询语句时消歧表现不佳的问题。
-
公开(公告)号：CN119750557A
公开(公告)日：2025-04-04
申请号：CN202510022149.8
申请日：2025-01-07
Applicant: 哈尔滨工业大学
IPC: C01B32/162 , C22F1/08
Abstract: 一种适用于钎焊的碳纳米管多孔高导热中间层的制备方法，它涉及钎焊中间层的制备方法。本发明要解决现有泡沫铜中间层上碳纳米管的生长存在催化剂过量或不均匀分布，导致碳纳米管附着力差、热导性低的问题。方法：一、利用水热法负载碳源；二、高温下退火。本发明用于碳纳米管多孔高导热中间层的制备。
-
-
-
-
-
-
-
-
-
Search Results
26
records
(took 0.028 seconds)
