-
公开(公告)号：CN119443120A
公开(公告)日：2025-02-14
申请号：CN202411499066.X
申请日：2024-10-25
Applicant: 中国科学院自动化研究所
IPC: G06F40/58 , G06N3/0499 , G06N5/04
Abstract: 公开了一种翻译方法及装置、计算机可读存储介质及计算机程序产品，所述方法包括：将源文档图像输入图像编码器，得到图像编码特征，其中，源文档图像包括源语言文本部分和插图部分；将源文档图像输入语义对齐编码器，得到单模态语义编码特征；将图像编码特征和单模态语义编码特征输入解码器，得到源文档图像的翻译结果，其中，翻译结果包括目标语言文本部分和插图部分；其中，翻译模型利用多模态大模型的输出进行训练。
-
公开(公告)号：CN118447523A
公开(公告)日：2024-08-06
申请号：CN202410446560.3
申请日：2024-04-15
Applicant: 中国科学院自动化研究所
IPC: G06V30/414 , G06V30/416 , G06V30/18 , G06V30/19 , G06F40/58
Abstract: 本发明提供一种基于特征传导的端到端文档图像翻译方法及装置，该方法包括：获取待翻译文档图像；提取待翻译文档图像的字符识别结果的几何联合特征，几何联合特征包括几何版面特征、文本特征；基于几何联合特征，得到待翻译文档图像的逻辑版面特征；将逻辑版面特征，和几何联合特征中的文本特征进行特征融合，得到待翻译文档图像的翻译导向特征；基于翻译导向特征，得到文档图像翻译结果。本发明提供的方法，将几何版面以及逻辑版面信息显式地进行建模，并将它们与文本特征进行融合，提升了对复杂版面的文档图像的翻译能力。同时，提供了基于特征传导的统一联合框架，增强了版面模块与翻译模块的协同优化。
-
公开(公告)号：CN118397641A
公开(公告)日：2024-07-26
申请号：CN202410416736.0
申请日：2024-04-08
Applicant: 中国科学院自动化研究所
IPC: G06V30/28 , G06V30/19 , G06N3/0455 , G06N3/08 , G06F40/40
Abstract: 本发明提供一种端到端文档图像翻译方法及装置，该方法包括：对文档图像进行光学字符识别编码，得到图像编码特征，对文档图像进行版面感知编码，得到版面编码特征；根据门控机制对图像编码特征和版面编码特征进行特征加权融合，得到融合特征表示；对融合特征表示进行解码，得到翻译文本。本发明所述方法通过图像编码特征和版面编码特征的融合特征实现文档图像的翻译，提高了文档图片的翻译准确率。
-
公开(公告)号：CN117973337A
公开(公告)日：2024-05-03
申请号：CN202410102694.3
申请日：2024-01-24
Applicant: 中国科学院自动化研究所
IPC: G06F40/18 , G06V30/413 , G06V30/414
Abstract: 本发明提供一种表格重建方法、装置、电子设备及存储介质，应用于图像处理技术领域。该方法包括：获取表格图像；提取所述表格图像的图像特征，并根据所述图像特征确定所述表格图像的单元格类别、单元格坐标以及单元格像素掩码；根据所述单元格坐标和所述单元格像素掩码进行网格线重建得到第一表格，根据所述单元格类别对所述第一表格进行单元格合并得到第二表格；其中，所述单元格类别包括空白单元格、基础单元格以及合并单元格。
-
公开(公告)号：CN117253239A
公开(公告)日：2023-12-19
申请号：CN202311189129.7
申请日：2023-09-14
Applicant: 中国科学院自动化研究所
IPC: G06V30/244 , G06V30/246 , G06V30/41 , G06V30/413 , G06F40/40 , G06F40/211
Abstract: 本发明提供一种融合版面信息的端到端文档图像翻译方法及装置，该方法包括：获取待翻译文档图像的字符识别结果，所述字符识别结果包括所述待翻译文档图像中的多个单词以及每个单词的二维坐标信息，所述二维坐标信息基于所述待翻译文档图像的像素值确定；基于所述每个单词对应的文本、所述每个单词的二维坐标信息以及所述每个单词的一维位置信息，得到第一特征向量，所述一维位置信息用于指示所述单词在单词序列中的位置，所述单词序列用于指示从所述待翻译文档图像中识别出来的所有单词组成的一维序列；对所述第一特征向量解码，得到所述待翻译文档图像对应的译文文本。本发明提供的融合版面信息的端到端文档图像翻译方法，有效提升文档翻译效果。
-
Patent Agency Ranking
公开(公告)号：CN116882423B
公开(公告)日：2023-11-17
申请号：CN202311143071.2
申请日：2023-09-06
Applicant: 中国科学院自动化研究所
IPC: G06F40/58 , G06F40/44 , G06F40/205
Abstract: 本发明提供一种文本翻译方法、装置、电子设备及存储介质，应用于机器翻译技术领域，该方法包括：获取待翻译文本的第一文本序列，所述第一文本序列包括至少两个相邻语句和每两个相邻语句之间的句间关系分隔符；确定所述第一文本序列中每个词段的向量，得到第一向量序列；确定所述至少两个相邻语句的句间关系向量，并将所述第一向量序列中句间关系分隔符的向量更新为所述句间关系向量，得到第二向量序列；基于所述第二向量序列确定所述待翻译文本的译文文本；其中，所述句间关系向量用于表示所述至少两个相邻语句的关联关系。
-
公开(公告)号：CN116805004B
公开(公告)日：2023-11-14
申请号：CN202311058414.5
申请日：2023-08-22
Applicant: 中国科学院自动化研究所
IPC: G06F16/332 , G06N3/042 , G06N3/045 , G06N3/096 , G06F40/40
Abstract: 本发明涉及自然语言处理技术领域，提供一种零资源跨语言对话模型训练方法、装置、设备和介质，所述方法包括：基于初始样本源语言对话数据，构建扩充样本源语言对话数据、第一跨语言对话数据、第二跨语言对话数据、双语平行数据以及样本目标语言对话数据；基于扩充样本源语言对话数据、第一跨语言对话数据以及第二跨语言对话数据中的至少一种，和双语平行数据，训练得到教师模型；将样本目标语言对话数据的对话输入数据输入至教师模型，得到蒸馏对话回复数据；基于样本目标语言对话数据的对话输入数据以及蒸馏对话回复数据进行蒸馏训练，得到零资源跨语言对话模型。本发明快速且低成本为零资源目标语言构建零资源跨语言对话模型。
-
公开(公告)号：CN116882423A
公开(公告)日：2023-10-13
申请号：CN202311143071.2
申请日：2023-09-06
Applicant: 中国科学院自动化研究所
IPC: G06F40/58 , G06F40/44 , G06F40/205
Abstract: 本发明提供一种文本翻译方法、装置、电子设备及存储介质，应用于机器翻译技术领域，该方法包括：获取待翻译文本的第一文本序列，所述第一文本序列包括至少两个相邻语句和每两个相邻语句之间的句间关系分隔符；确定所述第一文本序列中每个词段的向量，得到第一向量序列；确定所述至少两个相邻语句的句间关系向量，并将所述第一向量序列中句间关系分隔符的向量更新为所述句间关系向量，得到第二向量序列；基于所述第二向量序列确定所述待翻译文本的译文文本；其中，所述句间关系向量用于表示所述至少两个相邻语句的关联关系。
-
公开(公告)号：CN117113091B
公开(公告)日：2024-02-13
申请号：CN202311380008.0
申请日：2023-10-24
Applicant: 中国科学院自动化研究所
IPC: G06F18/214 , G06F18/28 , G06N3/0455 , G06N3/08
Abstract: 本发明提供一种语音翻译模型训练方法、装置、电子设备及存储介质，应用于自然语言处理技术领域。该方法包括：获取第一语音数据、第一文本数据、第一语音识别数据、第一文本翻译数据以及第一语音翻译数据；分别对所述第一语音数据、所述第一文本数据以及所述第一语音识别数据进行掩码操作，生成多个掩码序列；基于所述多个掩码序列训练语音翻译模型的编码器；在所述编码器的第一损失函数处于收敛状态的情况下，冻结所述编码器的参数，并基于所述第一文本翻译数据训练所述语音翻译模型的解码器；基于所述第一语音翻译数据对所述语音翻译模型进行训练。
-
公开(公告)号：CN117113091A
公开(公告)日：2023-11-24
申请号：CN202311380008.0
申请日：2023-10-24
Applicant: 中国科学院自动化研究所
IPC: G06F18/214 , G06F18/28 , G06N3/0455 , G06N3/08
Abstract: 本发明提供一种语音翻译模型训练方法、装置、电子设备及存储介质，应用于自然语言处理技术领域。该方法包括：获取第一语音数据、第一文本数据、第一语音识别数据、第一文本翻译数据以及第一语音翻译数据；分别对所述第一语音数据、所述第一文本数据以及所述第一语音识别数据进行掩码操作，生成多个掩码序列；基于所述多个掩码序列训练语音翻译模型的编码器；在所述编码器的第一损失函数处于收敛状态的情况下，冻结所述编码器的参数，并基于所述第一文本翻译数据训练所述语音翻译模型的解码器；基于所述第一语音翻译数据对所述语音翻译模型进行训练。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.036 seconds)
