一种联合学习框架下基于多视角图编码的选择式阅读理解方法

    公开(公告)号:CN115906862A

    公开(公告)日:2023-04-04

    申请号:CN202211298060.7

    申请日:2022-10-22

    Abstract: 本发明涉及一种联合学习框架下基于多视角图编码的选择式阅读理解方法。本发明首先通过多视角图编码网络从多个不同视角对文档、问题和候选答案联合编码,从统计特性、相对距离和深度语义三个视角捕捉文档中句子之间以及文档句子和问句之间的关联关系,充分挖掘潜在证据信息,获得问答对感知的文档编码;然后,通过一个二分类器来判断文档中每一个句子是否为证据句以实现证据抽取模块的功能;最后构建答案预测模块,使用证据抽取模块得到的文档句子作为证据的概率对多视角图编码网络得到的文档编码进行加权以及选择性融合,在联合学习的框架下同时训练两个模块,从而实现答案预测的目标。本发明在选择式阅读理解任务上取得了较好的效果。

    语义解析结果重排序方法及系统
    22.
    发明公开

    公开(公告)号:CN115238705A

    公开(公告)日:2022-10-25

    申请号:CN202210731235.2

    申请日:2022-06-24

    Abstract: 本发明提供一种语义解析结果重排序方法及系统,该方法包括:通过语义解析器,对目标自然语言语句进行解析,得到所述目标自然语言语句的候选逻辑表示集合;将所述目标自然语言语句和所述候选逻辑表示集合输入到重排序模型,得到候选语义重排序结果;根据所述候选语义重排序结果,确定所述目标自然语言语句的目标逻辑表示;其中,所述重排序模型是基于样本自然语言语句对应的自然语言相似样本和样本候选逻辑表示预测结果对应的逻辑表示相似样本,对预训练的深度神经网络进行训练得到的。本发明通过对语义解析结果进行重排序,有助于进一步搜索概率空间,从而根据重排序结果确定最终的语义解析结果,提高语义解析中推理算法的性能和准确性。

    基于信息增强的对话状态跟踪方法、系统、装置

    公开(公告)号:CN111061850A

    公开(公告)日:2020-04-24

    申请号:CN201911276031.9

    申请日:2019-12-12

    Abstract: 本发明属于自然语言处理技术领域,具体涉及一种基于信息增强的对话状态跟踪方法、系统、装置,旨在解决现有对话状态跟踪方法仅利用对话文本的上下文信息生成的未知槽值的准确度较差的问题。本系统方法包括基于用户t时刻的对话文本,通过对话状态跟踪模型得到t时刻的对话状态;t时刻的对话状态包括一或多个槽值对及对应的概率;所述槽值对包括槽、槽值;所述对话状态跟踪模型基于编码器-解码器架构的神经网络构建。本发明提高了未知槽值生成的准确度。

    基于强化学习的关系抽取方法和装置

    公开(公告)号:CN108280058A

    公开(公告)日:2018-07-13

    申请号:CN201810003062.6

    申请日:2018-01-02

    Abstract: 本发明涉及自然语言处理技术领域,具体提供了一种基于强化学习的关系抽取方法和装置,旨在解决如何在弱监督数据中进行关系抽取的技术问题。为此目的,本发明中的基于强化学习的关系抽取方法,包括下述步骤:获取句子中各词的词向量和各词的位置向量;依据各词的词向量和位置向量,利用预设关系抽取器获取句子的关系类别;其中,预设关系抽取器为基于神经网络构建的模型,包括用于获取各词对应的词的向量表示的向量表示层,用于获取特征映射向量的卷积神经网络层,用于获取最终句子的向量表示的池化层,用于获取句子的关系类别的分类器层。通过本发明可以利用有监督模型在弱监督数据中获取句子的关系类别。

    小型语言模型推理的知识内化渐进式方法及装置

    公开(公告)号:CN119849633A

    公开(公告)日:2025-04-18

    申请号:CN202411960089.6

    申请日:2024-12-30

    Abstract: 本发明提出了小型语言模型推理的知识内化渐进式方法及装置。所述方法包括:知识生成,利用大型语言模型(LLMs)生成针对特定训练数据的推理过程和符号知识,包括学习摘要和补充材料。其次,知识压缩与示例筛选,基于预定的线性衰减时间表,逐步对符号知识和训练示例进行压缩和精简,以优化知识表示。最后,渐进式微调,将压缩后的知识与筛选后的示例结合,用于微调SLMs,使其在推理时仅依赖于问题本身,从而提高效率。随着微调的进行,将知识逐渐内化到模型参数中,使得模型能够在推理时无需额外的文档检索或多阶段生成。本发明通过渐进式微调过程,将符号知识内化到小型语言模型中,提高了其在复杂推理任务上的性能。

    知识问答方法、装置、电子设备和可读存储介质

    公开(公告)号:CN115618011B

    公开(公告)日:2024-12-06

    申请号:CN202211193891.8

    申请日:2022-09-28

    Abstract: 本发明提供一种知识问答方法、装置、电子设备和可读存储介质,涉及计算机技术领域,该方法包括:基于获取到的逻辑查询语句构建计算图,并获取计算图中每一个节点的预测节点表示;计算图包括多个节点的节点信息以及相邻节点之间的关联关系,节点信息包括节点深度;针对计算图中的每一个节点,基于节点的前驱节点和后继节点的节点表示对节点的预测节点表示进行校准,得到节点的校准节点表示;基于计算图中节点的校准节点表示以及预设知识图谱中每一个实体的实体表示确定目标实体,并将目标实体作为逻辑查询语句的答案输出,解决了现有技术中如何更好地从知识图谱中检测出逻辑查询语句的答案的技术问题。

    大模型归纳能力增强方法和装置
    28.
    发明公开

    公开(公告)号:CN118734858A

    公开(公告)日:2024-10-01

    申请号:CN202410669925.9

    申请日:2024-05-28

    Abstract: 本申请提供了一种大模型归纳能力增强方法和装置,涉及自然语言处理技术领域,其中包括:基于待增强大模型对观测样本进行归纳采样,生成多个候选假设;基于所述待增强大模型对上下文进行学习,生成各个候选假设对应的演绎实例;基于各个候选假设对应的演绎实例对所述待增强大模型进行低秩自适应训练,调整所述待增强大模型的模型参数,得到增强大模型;基于所述增强大模型对测试样本进行归纳;所述测试样本与所述观测样本对应相同假设。本申请提供的方法和装置,能够显著地增强大模型的归纳能力。

    基于统一查询编码器的知识图谱复杂问答方法及装置

    公开(公告)号:CN116992004A

    公开(公告)日:2023-11-03

    申请号:CN202311069119.X

    申请日:2023-08-23

    Abstract: 本发明提供一种基于统一查询编码器的知识图谱复杂问答方法及装置,其中方法包括:获取查询图的全局特征表示;全局特征表示用于反映查询图的头实体和头实体之间的关系类型的特征信息;将全局特征表示和实体表示输入至神经链接预测器中,由神经链接预测器得到并输出预测尾实体;神经链接预测器是基于知识图谱补全任务训练得到的;实体表示是基于神经链接预测器预先确定的。本发明提供的方法及装置,通过端到端的方法将复杂查询编码为与简单查询相同的形式,从而能够充分利用神经链接预测器,该查询过程可以视为端到端地从神经链接预测器中直接检索答案,因此能够避免逐步计算所有中间节点所产生的错误累积,提高知识问答的成功率以及准确度。

    使用大型语言模型进行医疗问答的方法及系统

    公开(公告)号:CN116595131A

    公开(公告)日:2023-08-15

    申请号:CN202310295002.7

    申请日:2023-03-23

    Abstract: 本发明提供一种使用大型语言模型进行医疗问答的方法及系统,该方法包括:获取用户的医疗对话历史内容;将所述医疗对话历史内容和第一提示指令输入大型语言模型,基于所述大型语言模型的多样化采样解码得到多个第一响应;将所述医疗对话历史内容和多个第二提示指令输入所述大型语言模型,得到分别对应于每个所述第二提示指令的多个第二响应;将所述医疗对话历史内容、所述多个第一响应和所述多个第二响应输入所述大型语言模型,生成医疗对话的回复内容并发送给所述用户。使得大型语言模型能够利用整体性思维,提高思维的深度和广度,从而能够生成更准确的回复内容,提升用户的使用体验。

Patent Agency Ranking