公开(公告)号：CN116244404A

公开(公告)日：2023-06-09

申请号：CN202111470762.4

申请日：2021-12-03

Applicant: 富士通株式会社

Inventor： 郑仲光 ,  房璐 ,  曹奕翎 ,  孙俊

IPC: G06F16/33 ,  G06F40/211 ,  G06F40/284 ,  G06F18/214

Abstract: 本公开内容涉及生成扩展预训练语言模型的方法和装置以及自然语言处理方法。根据本公开内容的一个实施例，该生成扩展预训练语言模型的方法包括以迭代方式训练扩展预训练语言模型。训练扩展预训练语言模型包括：基于用于随机掩藏包含未登录词汇的样本句子中的词汇的第一掩码生成样本句子的编码特征；基于编码特征生成预测掩藏词汇；以及基于预测掩藏词汇调整扩展预训练语言模型。本公开内容的方法和装置的有益效果包括以下中的至少一个：减少训练时间、提高任务精度、节省硬件资源及使用便利。

公开(公告)号：CN118673915A

公开(公告)日：2024-09-20

申请号：CN202310269665.1

申请日：2023-03-16

Applicant: 富士通株式会社

Inventor： 曹奕翎 ,  郑仲光 ,  房璐 ,  孙俊

IPC: G06F40/295 ,  G06F18/214 ,  G06N3/0442 ,  G06N3/08

Abstract: 本公开内容涉及数据增强方法、模型训练方法及用于数据增强的装置根据本公开内容的一个实施例，提供了一种由计算机执行的用于命名实体识别的数据增强方法。该方法包括：基于规则从原始数据集合成句子，训练语言模型，基于策略过滤生成的中间合成数据集，以及对中间合成数据集进行一致性过滤。

公开(公告)号：CN115114919A

公开(公告)日：2022-09-27

申请号：CN202110295319.1

申请日：2021-03-19

Applicant: 富士通株式会社

Inventor： 曹奕翎 ,  郑仲光 ,  孙俊

IPC: G06F40/295 ,  G06F40/30 ,  G06N3/04

Abstract: 公开了呈现提示信息的方法和装置以及存储介质。该方法包括：对神经网络输入包括实体和实体的上下文的电子文本、实体类型、上下文词性以及本文形式的多个预定义概念，其中该神经网络包括BERT模型和图卷积神经网络；使用BERT模型基于实体、上下文、实体类型和上下文词性的组合生成第一向量；使用BERT模型基于每一个概念生成第二向量；使用图卷积神经网络基于图生成第三向量，其中该图是基于多个概念和概念之间的关系而生成的；拼接第二向量和第三向量以生成第四向量；基于第一向量和第四向量计算实体和每一个概念之间的语义相似度；基于第一向量和语义相似度，确定实体对应于某一个概念；基于所确定的概念生成提示信息以呈现给用户。

公开(公告)号：CN118839679A

公开(公告)日：2024-10-25

申请号：CN202310450811.0

申请日：2023-04-24

Applicant: 富士通株式会社

Inventor： 房璐 ,  郑仲光 ,  曹奕翎 ,  孙俊

IPC: G06F40/186 ,  G06F16/335 ,  G06F16/36 ,  G06N20/00

Abstract: 本申请公开了进行提示微调训练的方法、关系抽取的方法及相关装置。对预训练模型进行提示微调训练的方法，包括：基于原始训练集得到包括多个候选关系模板的候选关系模板集；针对所述原始训练集中的每个关系，基于每个关系与候选关系模板集中的每个候选关系模板的相关度来选择关系模板；针对每个关系，基于选择的关系模板来生成多个假设；基于生成的多个假设生成多个提示模板；基于多个提示模板和原始训练集生成新训练集；以及利用掩码语言模型在新训练集上对预训练模型进行提示微调训练，以生成提示微调预训练模型。

公开(公告)号：CN114860943A

公开(公告)日：2022-08-05

申请号：CN202110153759.3

申请日：2021-02-04

Applicant: 富士通株式会社

Inventor： 房璐 ,  郑仲光 ,  曹奕翎 ,  孙俊

IPC: G06F16/36 ,  G06F16/383 ,  G06F40/242 ,  G06F40/247 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本公开内容涉及用于规范化生物医学实体提及的方法、装置以及存储介质。根据本公开内容的一个实施例，该方法包括：接收生物医学实体提及作为待映射提及；通过检索生物医学词典生成待映射提及的候选概念集；确定候选概念集中是否包括与待映射提及相同的概念；在确定结果为“否”的情况下，通过针对候选概念集中的每个候选概念，基于从生物医学词典获得的相关概念集扩展该候选概念来更新候选概念集；通过确定更新的候选概念集中每个候选概念与待映射提及的语义相似度来获得语义相似度集；以及将待映射提及映射到语义相似度集中的最大语义相似度所对应的候选概念。本公开内容的方法、装置和存储介质的有益效果至少包括：提高确定规范概念的准确度。

公开(公告)号：CN118780286A

公开(公告)日：2024-10-15

申请号：CN202310369065.2

申请日：2023-04-06

Applicant: 富士通株式会社

Inventor： 郑仲光 ,  房璐 ,  曹奕翎 ,  孙俊

IPC: G06F40/295 ,  G06F40/30 ,  G06N3/045

Abstract: 本公开涉及一种信息处理装置、信息处理方法和机器可读存储介质。信息处理装置包括：构建单元，其通过原始训练样本、针对原始训练样本中的每个实体对分别构建对应于每个实体对的多个训练样本，多个训练样本中的至少一部分反映实体对中的实体之间的局部上下文关系；以及训练单元，其利用多个训练样本、针对每个实体对训练文档级关系抽取模型中的预训练语言模型，以学习每个实体对中的实体的描述在不同上下文中的重要性。该信息处理装置可以使预训练语言模型学习到描述在不同上下文中的重要性，而不需要额外的人工标注。

公开(公告)号：CN115563270A

公开(公告)日：2023-01-03

申请号：CN202110747494.X

申请日：2021-07-01

Applicant: 富士通株式会社

Inventor： 曹奕翎 ,  郑仲光 ,  房璐 ,  孙俊

IPC: G06F16/35 ,  G06F16/36 ,  G06F40/295

Abstract: 公开了呈现提示信息的方法和装置以及存储介质。该方法包括：生成针对实体的掩码向量，该掩码向量用于在实体和上下文所构成的语句中标识出实体的位置；由BERT层基于实体和上下文生成第一向量和第二向量；由实体平均层基于掩码向量和第二向量生成第三向量；由拼接层对第一向量和第三向量进行拼接以生成第四向量；由第一分类器基于第四向量预测实体对应于预定义的多个概念中的哪一个概念；由第二分类器基于第四向量预测实体对应于预定义的多个类型中的哪一个类型；联合地训练第一分类器和第二分类器；基于经训练的第一分类器的预测结果确定实体所对应的概念，并且基于所确定的概念生成提示信息，以呈现给用户。

公开(公告)号：CN114911924A

公开(公告)日：2022-08-16

申请号：CN202110177358.1

申请日：2021-02-07

Applicant: 富士通株式会社

Inventor： 郑仲光 ,  房璐 ,  曹奕翎 ,  孙俊

IPC: G06F16/35 ,  G06F40/211 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种多任务学习网络以及基于多任务学习网络的方法。该多任务学习网络包括：任务网络以及合并网络。其中任务网络包括多个子任务网络，多个子任务网络针对相同的输入生成相应的特征向量，合并网络对相应的特征向量进行拼接、对拼接后的特征向量进行优化并得到最终输出，其中多个子任务网络中的每个子任务网络包括编码层和任务层，编码层将所述输入转换成包括维度信息的编码向量并将编码向量发送到所述任务层，任务层对编码向量进行处理以生成特征向量。