-
公开(公告)号:CN119996762A
公开(公告)日:2025-05-13
申请号:CN202510043829.8
申请日:2025-01-10
Applicant: 中国科学院自动化研究所
IPC: H04N21/435 , H04N21/44 , H04N21/439 , G10L25/63 , G10L25/57 , G06F40/58
Abstract: 本发明提供一种融合多模态细粒度信息的视频机器翻译方法及装置。该融合多模态细粒度信息的视频机器翻译方法应包括:对视频中的画面进行信息抽取,得到所述画面中的细粒度视觉信息,并对所述视频中的音频进行信息抽取,得到所述音频中的细粒度音频信息;将所述细粒度视觉信息与所述细粒度音频信息融合到源文本中,得到融合文本;所述源文本为所述视频中的待翻译字幕;将所述融合文本输入到机器翻译模型中得到目标翻译文本。本发明提供的融合多模态细粒度信息的视频机器翻译方法及装置,通过将视频的细粒度视觉信息和细粒度音频信息融合进源文本中,基于融合文本进行机器翻译,提高了翻译的准确性。
-
公开(公告)号:CN115081430A
公开(公告)日:2022-09-20
申请号:CN202210576165.8
申请日:2022-05-24
Applicant: 中国科学院自动化研究所
IPC: G06F40/232 , G06N20/00
Abstract: 本发明提供一种中文拼写检错纠错方法、装置、电子设备及存储介质,属于自然语言处理技术领域,该方法包括:将汉字输入序列输入至对比学习模型,得到对比学习模型输出的汉字输入序列中各个汉字对应的相似字向量;基于相似字向量,检测汉字输入序列中的错误汉字,获得错误汉字的位置和类型;对汉字输入序列进行编码,得到汉字输入序列对应的编码向量;基于相似字向量、错误汉字的位置和类型,以及编码向量,纠正汉字输入序列中的错误汉字,获得最优纠正文本。通过各个汉字的字音相似关系和字形相似关系,实现了汉字输入序列中错误汉字的检错和纠错,提升了复杂汉字相似错误的检测与纠正的准确率,提升了中文拼写纠错的纠正质量。
-
公开(公告)号:CN111401080A
公开(公告)日:2020-07-10
申请号:CN201811533465.8
申请日:2018-12-14
Applicant: 波音公司 , 中国科学院自动化研究所
Abstract: 本申请公开了神经机器翻译方法以及神经机器翻译装置。该神经机器翻译方法,包括:获取待翻译的源语句以及作为源语句的候选译文的目标语句,以形成原始训练语料,计算源语句中包含的每个单词的翻译熵;判断每个单词的翻译熵是否大于预定阈值;根据判断结果,将翻译熵大于预定阈值的单词确定为易漏翻的单词;将易漏翻的单词的候选译文替换为预先设定的字符,以形成新目标语句;根据源语句与新目标语句形成新训练语料;基于原始训练语料和新训练语料来对神经机器翻译模型进行参数训练,以及利用经参数训练的神经机器翻译模型执行机器翻译。
-
公开(公告)号:CN106844352B
公开(公告)日:2019-11-08
申请号:CN201611209226.8
申请日:2016-12-23
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及一种基于神经机器翻译系统的单词预测方法及系统,所述单词预测方法包括:对平行语料进行训练,从训练结果中抽取,获得短语翻译表;对任意平行句对中的源语言句子进行匹配搜索,确定源语言句子中包含的全部源语言短语;从短语翻译表中查找各源语言短语分别对应的目标短语翻译候选集;根据目标短语翻译候选集及神经机器翻译系统翻译所得的部分译文,获得需要鼓励的目标单词集;根据基于神经机器翻译系统所得的注意力概率和目标短语翻译候选集,确定目标单词集中各目标单词的鼓励值;根据各目标单词的鼓励值,获得各目标单词的预测概率。通过引入短语翻译表获得目标单词的鼓励值,并添加到神经翻译模型中,从而可提高目标单词的预测概率。
-
公开(公告)号:CN118552965A
公开(公告)日:2024-08-27
申请号:CN202410624083.5
申请日:2024-05-20
Applicant: 中国科学院自动化研究所
IPC: G06V30/19 , G06V30/18 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/084
Abstract: 本发明提供一种文本图像翻译模型训练方法、装置、电子设备和存储介质,其中方法包括:获取预训练模型和训练数据,分别对训练数据中的文本图像和源端语言文本字符串进行特征编码,得到文本图像特征和文本特征;分别对文本图像特征和文本特征进行特征解码,得到文本图像翻译结果和文本翻译结果;基于文本图像翻译结果和训练数据中的目标端语言文本字符串,确定文本图像翻译损失;基于文本图像特征、文本特征、文本图像翻译结果和文本翻译结果,确定多层次知识迁移损失;将文本图像翻译损失和多层次知识迁移损失进行融合,得到训练损失,并基于训练损失对预训练模型进行参数更新,得到文本图像翻译模型。本发明能够提升文本图像翻译模型的性能。
-
公开(公告)号:CN106844352A
公开(公告)日:2017-06-13
申请号:CN201611209226.8
申请日:2016-12-23
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及一种基于神经机器翻译系统的单词预测方法及系统,所述单词预测方法包括:对平行语料进行训练,从训练结果中抽取,获得短语翻译表;对任意平行句对中的源语言句子进行匹配搜索,确定源语言句子中包含的全部源语言短语;从短语翻译表中查找各源语言短语分别对应的目标短语翻译候选集;根据目标短语翻译候选集及神经机器翻译系统翻译所得的部分译文,获得需要鼓励的目标单词集;根据基于神经机器翻译系统所得的注意力概率和目标短语翻译候选集,确定目标单词集中各目标单词的鼓励值;根据各目标单词的鼓励值,获得各目标单词的预测概率。通过引入短语翻译表获得目标单词的鼓励值,并添加到神经翻译模型中,从而可提高目标单词的预测概率。
-
公开(公告)号:CN117973337B
公开(公告)日:2024-10-11
申请号:CN202410102694.3
申请日:2024-01-24
Applicant: 中国科学院自动化研究所
IPC: G06F40/18 , G06V30/413 , G06V30/414
Abstract: 本发明提供一种表格重建方法、装置、电子设备及存储介质,应用于图像处理技术领域。该方法包括:获取表格图像;提取所述表格图像的图像特征,并根据所述图像特征确定所述表格图像的单元格类别、单元格坐标以及单元格像素掩码;根据所述单元格坐标和所述单元格像素掩码进行网格线重建得到第一表格,根据所述单元格类别对所述第一表格进行单元格合并得到第二表格;其中,所述单元格类别包括空白单元格、基础单元格以及合并单元格。
-
公开(公告)号:CN117764071A
公开(公告)日:2024-03-26
申请号:CN202311521798.X
申请日:2023-11-15
Applicant: 中国科学院自动化研究所
IPC: G06F40/295 , G06F18/22 , G06F40/216
Abstract: 本发明提供一种可控文本生成方法、装置、电子设备及存储介质,应用于自然语言处理技术领域。该方法包括:获取输入文本;确定与所述输入文本关联的至少一个知识文本;分别对所述至少一个知识文本中的每个知识文本指代消解处理,得到知识修改文本,所述指代消解处理用于将所述知识文本中的实体词更新为事实性更强的实体词;基于所述输入文本和所述知识修改文本生成可控文本。
-
公开(公告)号:CN113011202B
公开(公告)日:2023-07-25
申请号:CN202110306816.7
申请日:2021-03-23
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于自然语言处理技术领域,具体涉及一种基于多任务训练的端到端图像文本翻译方法,旨在解决现有的图像文本翻译模型因缺乏训练数据、模型结构设计,导致翻译性能较差的问题。本发明方法包括:获取待翻译的数据,作为输入数据;对输入数据进行预处理,预处理后,输入预构建的图像文本翻译模型,得到所述输入数据对应的翻译结果;图像文本翻译模型包括特征提取器、编码器‑解码器。本发明提高了图像文本翻译性能。
-
公开(公告)号:CN114118104A
公开(公告)日:2022-03-01
申请号:CN202111199951.2
申请日:2021-10-14
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种基于知识图谱的神经机器翻译方法、装置、设备及介质,该方法包括:获取原始双语平行语句对,根据原始双语平行语句对提取单词和短语翻译对,得到对应的种子实体翻译对;获取源语言知识图谱和目标语言知识图谱,根据种子实体翻译对、源语言知识图谱和目标语言知识图谱,构建对应的向量空间;获取到待翻译实体集合时,根据向量空间对待翻译实体集合进行推断,得到对应的待翻译实体翻译对;计算种子实体翻译对和待翻译实体翻译对的距离,根据距离得到包含待翻译实体翻译对的伪双语平行句对。本发明通过将知识图谱融合到神经机器翻译中,利用知识图谱中丰富的实体知识提升了神经机器翻译的实体翻译准确率。
-
-
-
-
-
-
-
-
-