-
公开(公告)号：CN118170863A
公开(公告)日：2024-06-11
申请号：CN202410255048.0
申请日：2024-03-06
Applicant: 中国科学院软件研究所
IPC: G06F16/33 , G06F40/14 , G06F40/258 , G06F40/30
Abstract: 本发明公开了一种基于生成式语言模型的文档目录抽取方法及系统，属于自然语言处理技术领域。通过全局上下文堆栈存储文档结构目录树形式的已生成的文档结构，通过未来输入窗口输入每个遍历阶段的当前局部文档片段和后续的局部文档片段，将全局上下文堆栈通过全局文档结构表示转化为文本并与当前局部文档片段和后续的局部文档片段的文本进行拼接，输入到生成式语言模型中预测多个局部文档的层次结构。本发明通过全局上下文堆栈解决文档目录抽取对于全局信息的长距离依赖问题，通过未来输入窗口解决生成式语言模型因不了解下文而造成的短视问题，通过全局文档结构表示增强了针对不同类型文档的泛化能力。
-
公开(公告)号：CN114781350A
公开(公告)日：2022-07-22
申请号：CN202210306002.8
申请日：2022-03-25
Applicant: 中国科学院软件研究所
IPC: G06F40/205 , G06F40/126 , G06N3/04 , G06N3/08 , G06N5/04
Abstract: 本发明公开了一种基于场景图演化的过程性文本理解方法和系统。该方法主要包含：图结构编码器充分建模当前场景图中不同实体、状态、位置和常识概念之间的交互信息；上下文编码器充分挖掘当前时刻自然语言中表达的新事件信息；图结构预测器通过图结构编码器提供的场景图信息和上下文编码器提供的新事件信息预测下一时刻的场景图结构；状态推理器基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。本发明能够有效提升过程性文本理解任务的性能，并且基于图的推理方法能够同步追踪所有实体，显著提升了过程性文本理解系统的效率。
-
公开(公告)号：CN113535973A
公开(公告)日：2021-10-22
申请号：CN202110632197.0
申请日：2021-06-07
Applicant: 中国科学院软件研究所 , 腾讯科技(深圳)有限公司
IPC: G06F16/36 , G06F16/35 , G06F40/205 , G06F40/30
Abstract: 本发明公开一种基于知识映射的事件关系抽取、语篇关系分析方法及装置，包括基于语言模型，挖掘事件文本中存在相似的词法与句法结构，得到特殊字词[CLS]的嵌入表示h[CLS]；基于变分自编码的语义表示编码器，获取事件文本中可类推的语义关系表示hz；根据嵌入表示h[CLS]与语义关系表示hz进行粗粒度关系分类，并获得粗粒度类别嵌入表示利用嵌入表示h[CLS]、语义关系表示hz及粗粒度类别嵌入表示对事件文本中事件对的关系类别进行分类，得到事件关系抽取结果。本发明降低训练事件关系抽取数据要求，发现大量有价值的隐式事件关系，提升事件抽取及语篇分析的准确率，丰富了大量有价值的隐式事件关系后的事件知识图谱，能够更有效地提升下游自然语言理解任务性能。
-
公开(公告)号：CN119128272A
公开(公告)日：2024-12-13
申请号：CN202411337666.6
申请日：2024-09-24
Applicant: 中国科学院软件研究所 , 支付宝(杭州)信息技术有限公司
IPC: G06F16/9535 , G06F18/214
Abstract: 本说明书实施例公开了一种标签生成的方法、装置及电子设备。所述标签生成的方法包括：接收用户输入的针对目标对象的标签生成指令；获取与所述目标对象匹配的层次标签体系，所述层次标签体系为根据预设的标签集构建的具有层次结构的标签体系，所述标签集中标签存放于所述层次标签体系中至少一个终止节点；基于大型语言模型，从所述层次标签体系的根节点出发，根据所述目标对象的描述信息和所述层次标签体系中各个中间节点的生成标签，逐层次确定与所述目标对象相关的中间节点；在所述层次标签体系中，将与所述目标对象相关的中间节点相连的终止节点，确定为目标终止节点，并从所述目标终止节点存放的标签中，确定所述目标对象的标签。
-
公开(公告)号：CN118586395A
公开(公告)日：2024-09-03
申请号：CN202310217476.X
申请日：2023-03-03
Applicant: 中国科学院软件研究所 , 北京百度网讯科技有限公司
IPC: G06F40/30 , G06F40/211 , G06F18/214 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于元函数的信息抽取上下文学习方法及装置。所述方法包括：构建执行上下文学习信息抽取任务的神经网络模型；构建训练数据集，训练数据包括：抽取说明、标注范例和文本；将类别匿名化的抽取说明、标注范例和文本输入编码器，采用上下文学习的范式得到语义表示F，并通过解码器预测语义表示F在每一个时间步内对应的词语，得到交叉熵损失；将类别匿名化的抽取说明和标注范例输入微调后的编码器，得到语义表示F′，并通过语义表示F逼近语义表示F′，得到代理抽取损失；基于交叉熵损失和代理抽取损失训练神经网络模型；使用训练后的神经网络，获取测试文本的信息抽取结果。本发明的模型具备信息抽取上下文学习的能力。
-
Patent Agency Ranking
公开(公告)号：CN118485061A
公开(公告)日：2024-08-13
申请号：CN202410548511.0
申请日：2024-05-06
Applicant: 中国科学院软件研究所
IPC: G06F40/221 , G06F40/211 , G06F40/284 , G06F16/33 , G06N3/088
Abstract: 本发明公开了指令数据自动标注方法、语言模型指令遵循增强方法及系统，属于自然语言处理技术领域。本发明从无监督纯文本语料中采样包含指令跟随监督信号的纯文本；使用人工标注的指令数据反向微调一预训练语言模型，微调完成后作为反向标注模型；利用反向标注模型对纯文本进行反向指令标注，得到反向标注指令数据；将部分纯文本及反向标注指令数据输入到闭源大语言模型进行数据改写，得到输出改写数据；使用输出改写数据微调一预训练语言模型，微调完成后作为输出改写模型；利用输出改写模型改写反向标注指令数据，得到自动标注的指令数据。本发明可以从无监督的文本语料中自动构建指令数据，以及增强预训练语言模型的指令遵循能力。
-
公开(公告)号：CN118428488A
公开(公告)日：2024-08-02
申请号：CN202410582872.7
申请日：2024-05-11
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了基于大语言模型开放式映射规划的任务规划方法及系统，涉及自然语言处理技术领域。本发明通过生成统一格式的开放式映射规划数据集，并制定检索重写流程，对大语言模型进行微调训练，使大语言模型能够对生成的规划进行修改重写，进而生成优异的规划方案。本发明通过开放式映射规划数据集和检索重写流程对大语言模型进行微调，能够提高大语言模型的任务规划能力和泛化能力。
-
公开(公告)号：CN114510928A
公开(公告)日：2022-05-17
申请号：CN202210031254.4
申请日：2022-01-12
Applicant: 中国科学院软件研究所 , 北京百度网讯科技有限公司
IPC: G06F40/253 , G06F40/30 , G06K9/62
Abstract: 本发明提出一种基于统一结构生成的通用信息抽取方法及系统，属于自然语言处理技术领域，采用通用的结构化抽取语言表达不同的抽取结构，该结构化语言包含不同的层次，可以表示多种不同结构的信息抽取结果；解码时通过结构化框架抽取引导机制对特定的抽取需求进行建模，帮助模型快速泛化到特定任务；利用不同的任务对统一生成模型进行预训练，并对预训练后的模型进行微调，提高统一生成模型的性能。
-
公开(公告)号：CN113609244A
公开(公告)日：2021-11-05
申请号：CN202110637453.5
申请日：2021-06-08
Applicant: 中国科学院软件研究所
Abstract: 本发明提出一种基于可控生成的结构化记录抽取方法和装置。该方法可以从非结构化的文本中自动抽取结构化的文本记录，其抽取步骤包括：对于目标文本，序列到结构网络首先利用基于自注意力机制的编码器捕捉目标文本的文本语义，然后利用基于混合注意力机制的解码器生成结构化表示；其中，基于前缀树的可控解码算法在生成的过程中对解码空间进行约束，注入框架知识，引导模型解码，生成线性表达式；最后，对线性表达式进行结构转化，生成结构化记录。在模型训练阶段，采用两阶段的模型学习方法帮助模型进行高效的学习：第一阶段采用子结构进行模型学习，注重文本块抽取能力的训练；第二阶段采用完整记录结构进行模型学习，注重结构抽取能力的训练。
-
公开(公告)号：CN109558591A
公开(公告)日：2019-04-02
申请号：CN201811438685.2
申请日：2018-11-28
Applicant: 中国科学院软件研究所
Abstract: 本发明提供一种中文事件检测方法及装置。所述装置包括混合特征表示生成模块、触发词块生成模块和事件类别分类模块，所述混合特征表示生成模块包括字符级别特征表示生成单元、词级别特征表示生成单元和特征混合单元。本发明能够直接在字符级别生成完整的触发词块以及对触发词块进行事件类别分类，从而避免事件触发词块与词的不匹配问题，得出更鲁棒的事件检测结果。
-
-
-
-
-
-
-
-
-
Search Results
30
records
(took 0.028 seconds)
