-
公开(公告)号:CN113779361B
公开(公告)日:2024-09-10
申请号:CN202110995974.8
申请日:2021-08-27
Applicant: 华中科技大学 , 武汉烽火技术服务有限公司
IPC: G06F16/953 , G06F16/9538 , G06N3/0455 , G06N3/0499 , G06N3/082
Abstract: 本发明公开了一种基于多层注意力机制的跨模态检索模型的构建方法及应用,包括:S1、搭建跨模态检索模型;S2、计算图像模态和文本模态间的不变性损失、标签空间损失、以及公共表示空间中不同模态间和各个模态内的判别损失,加以不同的权重,得到跨模态检索模型的损失函数;S3、通过最小化跨模态检索模型的损失函数对跨模态检索模型进行训练。本发明在训练过程中,通过考虑不同模态之间的相互影响,分别对各图像文本数据对基于多层注意力机制学习其文本特征和图像特征内细粒度的上下文局部信息,以及学习其文本特征和图像特征之间的全局特征对应关系,充分利用了原始数据中的语义信息,将多模态特征进行融合,大大提高了跨模态检索的准确度。
-
公开(公告)号:CN113869189B
公开(公告)日:2024-08-09
申请号:CN202111126363.6
申请日:2021-09-24
Applicant: 华中科技大学 , 武汉烽火技术服务有限公司
IPC: G06V40/20 , G06V20/40 , G06V10/80 , G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/0442 , G06N3/045 , G06N3/08
Abstract: 本发明公开了一种人体行为识别方法、系统、设备及介质,属于数据检索领域,方法包括:捕获目标区域内人体的RGB视频序列、加速度信号和角速度信号,提取RGB视频序列、加速度信号和角速度信号中与人体行为识别相关的视频特征、加速度特征和角速度特征;对加速度特征形成的循环矩阵和角速度特征形成的循环矩阵进行多传感器信号融合处理,得到惯性传感器融合特征向量;对惯性传感器融合特征向量与视频特征进行基于塔克分解的双模态融合,得到融合行为特征;将融合行为特征输入分类器进行人体行为识别,以预测并输出人体动作。多角度、多视角分析人体行为识别任务,解决单一模态信息缺失的问题。
-
公开(公告)号:CN112214996B
公开(公告)日:2024-06-04
申请号:CN202011089609.2
申请日:2020-10-13
Applicant: 华中科技大学
IPC: G06F40/258 , G06F40/295 , G06F40/30
Abstract: 本发明公开了一种面向科技信息文本的文本摘要生成方法及系统,包括:S1、对待处理的科技信息文本进行实体识别和关系抽取,得到科技信息文本中所包含的实体及三元组;S2、判断科技信息文本是否为长文本,若是,则转至步骤S3;否则,将科技信息文本与实体及三元组进行融合构成模型输入信息,转至步骤S4;S3、基于科技信息文本的行文结构,并结合实体及三元组,确定科技信息文本中各个句子的影响力,并从科技信息文本中获取影响力最高的K个句子构成关键句群,将关键句群与实体及三元组进行融合构成模型输入信息;S4、将模型输入信息输入到预训练好的序列到序列模型中,得到文本摘要。所生成的摘要精确度高、可读性强,质量好。
-
公开(公告)号:CN113779361A
公开(公告)日:2021-12-10
申请号:CN202110995974.8
申请日:2021-08-27
Applicant: 华中科技大学 , 武汉烽火技术服务有限公司
IPC: G06F16/953 , G06F16/9538 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于多层注意力机制的跨模态检索模型的构建方法及应用,包括:S1、搭建跨模态检索模型;S2、计算图像模态和文本模态间的不变性损失、标签空间损失、以及公共表示空间中不同模态间和各个模态内的判别损失,加以不同的权重,得到跨模态检索模型的损失函数;S3、通过最小化跨模态检索模型的损失函数对跨模态检索模型进行训练。本发明在训练过程中,通过考虑不同模态之间的相互影响,分别对各图像文本数据对基于多层注意力机制学习其文本特征和图像特征内细粒度的上下文局部信息,以及学习其文本特征和图像特征之间的全局特征对应关系,充分利用了原始数据中的语义信息,将多模态特征进行融合,大大提高了跨模态检索的准确度。
-
公开(公告)号:CN113569141A
公开(公告)日:2021-10-29
申请号:CN202110811299.9
申请日:2021-07-19
Applicant: 华中科技大学 , 武汉烽火技术服务有限公司
IPC: G06F16/9535 , G06F16/2453
Abstract: 本发明公开一种不完整数据的Top‑K查询方法和系统,属于数据查询领域。包括:统计出不完整数据集中每种属性的最小值和最大值,保存数据集中各对象的主键、非主键属性值到元组列表中;遍历元组列表,计算每个对象的最低和最高可能分数,存入元组列表,定位所有对象的最低可能分数位于第K大的值,将其作为判断阈值;遍历元组列表,若对象的最高可能分数不小于判断阈值,将其加入第一候选集;遍历第一候选集,使用填补策略对缺失属性值进行估算,将估算值和最小值中的较大值作为填补值,计算填补后对象的分数,将分数不小于判断阈值的对象加入第二候选集;采用完整数据Top‑K查询方法查询。本发明确保不完整数据Top‑K查询结果正确性的同时有效提高了查询效率。
-
公开(公告)号:CN110222240B
公开(公告)日:2021-03-26
申请号:CN201910437375.7
申请日:2019-05-24
Applicant: 华中科技大学
IPC: G06F16/901 , G06F16/9035 , G06F16/903
Abstract: 本发明公开了一种基于摘要图的空间RDF数据关键词查询方法,属于关键词查询领域。包括:基于类型属性划分原RDF图,得到划分子图的集合P,基于类型间的关系将P中不同的图结构提取出来,得到摘要图集合S;利用S以逆向搜索的方式在P上进行关键词查询,生成包含所有关键词的子图集合;将子图集合作为SK算法的输入,得到最终的查询结果。本发明在SK算法的基础上添加了摘要搜索层,生成划分子图集合和摘要图集合,在利用摘要图集合在划分子图集合上进行逆向搜索,即从关键词结点出发,自底向上进行搜索,得到若干包含所有关键词的子图。因为划分子图数量远小于结点数量,从而缩小查询范围,且利用摘要图能够很快得到路径长度下界,查询效率明显提升。
-
公开(公告)号:CN112395879A
公开(公告)日:2021-02-23
申请号:CN202011244352.3
申请日:2020-11-10
Applicant: 华中科技大学
IPC: G06F40/295 , G06N3/04
Abstract: 本发明属于文本关键信息抽取领域,具体为一种科技文本命名实体识别方法,包括:采用实体识别标注模型对目标领域科技文本进行实体识别标注;其中该模型训练方法为:将目标领域的标注样本和源领域的部分样本输入源领域标注模型,分别得到目标领域和源领域的深层特征向量,计算该两个向量间的MMD;基于MMD调整源领域标注模型参数;采用新的源领域标注模型为目标领域每个未标注样本预测伪标签,将目标领域的标注样本和带伪标签的样本按比例混合并输入新的源领域标注模型,再次计算MMD,重复上述直至MMD最小,得到实体识别标注模型。本发明是面向多领域、多范围文本的基于迁移学习的命名实体识别,有效解决深度学习对特定领域少量数据学习能力不足的问题。
-
公开(公告)号:CN110222240A
公开(公告)日:2019-09-10
申请号:CN201910437375.7
申请日:2019-05-24
Applicant: 华中科技大学
IPC: G06F16/901 , G06F16/9035 , G06F16/903
Abstract: 本发明公开了一种基于摘要图的空间RDF数据关键词查询方法,属于关键词查询领域。包括:基于类型属性划分原RDF图,得到划分子图的集合P,基于类型间的关系将P中不同的图结构提取出来,得到摘要图集合S;利用S以逆向搜索的方式在P上进行关键词查询,生成包含所有关键词的子图集合;将子图集合作为SK算法的输入,得到最终的查询结果。本发明在SK算法的基础上添加了摘要搜索层,生成划分子图集合和摘要图集合,在利用摘要图集合在划分子图集合上进行逆向搜索,即从关键词结点出发,自底向上进行搜索,得到若干包含所有关键词的子图。因为划分子图数量远小于结点数量,从而缩小查询范围,且利用摘要图能够很快得到路径长度下界,查询效率明显提升。
-
公开(公告)号:CN108961390A
公开(公告)日:2018-12-07
申请号:CN201810586309.1
申请日:2018-06-08
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于深度图的实时三维重建方法,包括:利用深度相机获得拍摄场景的深度图和RGB彩色图;对每一帧深度图进行如下处理:对深度信息进行补全,然后其像素点转换第一类三维坐标点,并计算每一个像素点处的法向量;将深度图对应的第一类三维坐标点转换为第二类三维坐标点;为深度图所对应的每一个第二类三维坐标点分配体素块,并利用哈希表索引体素块;通过对体素块加权融合更新体素块中每一个体素的sdf值,然后提取场景表面;获得场景表面的纹理信息,并计算场景表面每一个体素处的表面法向量。本发明能够有效提高重建速度和重建质量,并且能够适用于大规模的场景重建。
-
公开(公告)号:CN108595389A
公开(公告)日:2018-09-28
申请号:CN201810378038.0
申请日:2018-04-25
Applicant: 华中科技大学
Abstract: 本发明公开一种将Word文档转换为txt纯文本文档的方法,包括以下步骤:提取Word文档中的图片信息和公式信息并保存;将Word文档转换为Html文档,并将所述Html文档中的格式信息去除,所述格式信息为Word文档中格式标签对应的信息;对所述Html进行解析,提取相应的文本信息并存储为txt文档。本发明批量对Word文档进行自动转换,同时优化Word文档转换的结果。
-
-
-
-
-
-
-
-
-