基于跨模型交互网络实现问题-视频片段抽取任务的方法

    公开(公告)号:CN110377792B

    公开(公告)日:2021-09-21

    申请号:CN201910516683.9

    申请日:2019-06-14

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用跨模型交互网络解决以问题为基础的视频片段抽取任务的方法。主要包括如下步骤:1)针对问题语句与视频帧,利用语义图像卷积网络、多头自注意力模块、与多步骤跨模型交互模块获取视频帧的跨模型语义表达。2)对获得的视频帧的跨模型语义表达,计算损失函数并训练模型,利用训练后的跨模型交互网络,对视频进行以问题为基础的片段抽取。相比于一般的视频片段抽取解决方案,本发明对多种有效信息进行综合利用。本发明在以问题为基础的视频片段抽取任务中所取得的效果相比于传统的方法更好。

    一种利用关系路径挖掘解决知识图谱对齐任务的方法

    公开(公告)号:CN109255002B

    公开(公告)日:2021-08-27

    申请号:CN201811057114.4

    申请日:2018-09-11

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用关系路径挖掘解决知识图谱对齐任务的方法。主要包括如下步骤:1)利用知识翻译模型、线性映射函数、对齐节点对与对齐三元组获取表示知识图谱对齐任务的损失函数。2)利用损失函数下降训练,完成关系路径挖掘,实现知识图谱对齐任务。相比于其他的知识图谱对齐任务解决方法,本发明使用到了知识图谱中的实体与关系的对齐方式。本发明在知识图谱对齐任务中所取得的效果相比于传统的方法更好。

    一种语音识别的方法及其装置

    公开(公告)号:CN111599363A

    公开(公告)日:2020-08-28

    申请号:CN201910104761.4

    申请日:2019-02-01

    Applicant: 浙江大学

    Abstract: 本申请公开了一种语音识别的方法及其装置,所述方法包括:将与获取的语音对应的声谱图输入到语音模型,获取与所述语音对应的多个候选分句;利用多层评价模型确定与所述多个候选分句中每个候选分句对应的候选值;将候选值最高的候选分句确定为目标识别文本。采用本申请,可利用多层评价模型对利用语音模型输出的多个候选分句执行量化处理,从而能够更准确且直观地确定目标识别文本。

    一种基于字结构的中文医疗记录的命名实体识别方法

    公开(公告)号:CN110837736B

    公开(公告)日:2021-08-10

    申请号:CN201911059655.5

    申请日:2019-11-01

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于字结构的迭代膨胀卷积神经网络‑条件随机场的中文医疗记录的命名实体识别方法,其中命名实体识别方法包括以下步骤:1)针对一组询问序列、实体标注序列的训练数据集,通过卷积神经网络从汉字对应的位图中提取出特征向量;2)将字嵌入的结果和卷积神经网络输出的特征向量相结合;3)通过迭代膨胀卷积神经网络和注意力机制,对于标注集合中每一个标注获取一个得分序列;4)通过线性链条件随机场算法,得出命名实体识别的结果。通过本发明,可以利用中文医疗记录中的汉字结构信息,通过将迭代膨胀卷积神经网络与条件随机场算法相结合,可以进一步提高命名实体识别方法的表现。

    一种命名实体识别方法及其装置

    公开(公告)号:CN111563380A

    公开(公告)日:2020-08-21

    申请号:CN201910075530.5

    申请日:2019-01-25

    Applicant: 浙江大学

    Abstract: 本申请公开了一种命名实体识别方法及其装置,所述方法包括:基于文本中的每个元素的结构信息,将所述文本的每个元素转换为包括第一向量的第一向量组,其中,第一向量包括每个元素的结构信息向量;将所述第一向量组中的第一向量分别输入到机器学习模型组件,获取与所述文本对应的表达向量,其中,所述机器学习模型组件根据多个训练文本向量以及与所述多个训练文本向量对应的多个表达向量之间的对应关系进行训练得到的;利用所述表达向量,识别与所述文本对应的命名实体标签,至少利用所述表达向量,识别与所述文本对应的命名实体标签。采用本申请,可利用文本的结构信息,获取所述文本对应的预测标签,从而能够利用独有的结构,提高命名实体识别的准确率。

    一种利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法

    公开(公告)号:CN110738989A

    公开(公告)日:2020-01-31

    申请号:CN201911000418.1

    申请日:2019-10-21

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用多种语言模型的端到端网络学习解决基于地点的语音的自动识别任务的方法。主要包括如下步骤:1)针对于一组基于地点的语音、相关联字符串数据集,根据编码器网络形成语音序列编码,利用连接时序分类器和含有大量地理名词的基于字符的语言模型生成序列编码的备选字符串集。2)根据得到的备选字符串集,使用含有大量地理名词的基于词语的语言模型和基于类型的语言模型选择出最佳的字符串答案。相比于一般的自动语音识别解决方案,本发明利用了多种语言模型的端到端网络学习的方法,能够综合利用词语的上下文相关性与句子的语法结构。本发明在基于地点的语音的自动识别中所取得的效果相比于传统的方法更好。

    一种利用跨模型交互网络解决以问题为基础的视频片段抽取任务的方法

    公开(公告)号:CN110377792A

    公开(公告)日:2019-10-25

    申请号:CN201910516683.9

    申请日:2019-06-14

    Applicant: 浙江大学

    Abstract: 本发明公开了一种利用跨模型交互网络解决以问题为基础的视频片段抽取任务的方法。主要包括如下步骤:1)针对问题语句与视频帧,利用语义图像卷积网络、多头自注意力模块、与多步骤跨模型交互模块获取视频帧的跨模型语义表达。2)对获得的视频帧的跨模型语义表达,计算损失函数并训练模型,利用训练后的跨模型交互网络,对视频进行以问题为基础的片段抽取。相比于一般的视频片段抽取解决方案,本发明对多种有效信息进行综合利用。本发明在以问题为基础的视频片段抽取任务中所取得的效果相比于传统的方法更好。

    一种基于字结构的迭代膨胀卷积神经网络-条件随机场的中文医疗记录的命名实体识别方法

    公开(公告)号:CN110837736A

    公开(公告)日:2020-02-25

    申请号:CN201911059655.5

    申请日:2019-11-01

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于字结构的迭代膨胀卷积神经网络-条件随机场的中文医疗记录的命名实体识别方法,其中命名实体识别方法包括以下步骤:1)针对一组询问序列、实体标注序列的训练数据集,通过卷积神经网络从汉字对应的位图中提取出特征向量;2)将字嵌入的结果和卷积神经网络输出的特征向量相结合;3)通过迭代膨胀卷积神经网络和注意力机制,对于标注集合中每一个标注获取一个得分序列;4)通过线性链条件随机场算法,得出命名实体识别的结果。通过本发明,可以利用中文医疗记录中的汉字结构信息,通过将迭代膨胀卷积神经网络与条件随机场算法相结合,可以进一步提高命名实体识别方法的表现。

    通过影像查询定位视频中未预习的活动的方法

    公开(公告)号:CN110378269A

    公开(公告)日:2019-10-25

    申请号:CN201910621444.X

    申请日:2019-07-10

    Applicant: 浙江大学

    Abstract: 本发明公开了一种通过影像查询定位视频中未预习的活动的方法。该方法通过相对位置编码设计了一种新颖的区域自注意力方法来学习细粒度图像的区域表示,从而可以消除在影像查询中语义上不必要内容的影响;使用了一种多层堆叠的转换器编码器,建立了影像与视频内容的多步融合与推理,从而处理了不精确的影像查询的模糊定位;使用了一个顺序敏感定位器去直接检索时间的边界,从而可以精确确定目标片段的边界;相比于一般的动作定位方法,本方法突破了预定义动作的限制,并且可通过影像查询定位到视频中未经预习的活动。本发明在对未修饰视频进行动作定位中所取得的效果相比于传统方法更好。

Patent Agency Ranking