基于预训练模型的中文跨语言知识增强方法

    公开(公告)号:CN117648935A

    公开(公告)日:2024-03-05

    申请号:CN202311397089.5

    申请日:2023-10-26

    Abstract: 本发明涉及自然语言处理技术领域,涉及一种基于预训练模型的中文跨语言知识增强方法,其包括以下步骤:步骤1、句子进行分词;步骤2、分词后的句子通过多语言知识增强模块中的声母知识层和翻译知识层获得翻译知识和声母知识;步骤3、将翻译知识和声母知识与原句子拼接成一棵树,使用可变注意力机制来计算树上的注意力分数;步骤4、使用BERT生成嵌入,包括标记嵌入、位置嵌入和段嵌入,同时在每个标记之后插入相应的初始辅音和翻译知识;步骤5、基于生成的注意力分数和嵌入,对编码器的输出进行了微调,以实现各种下游任务。本发明能较佳地实现中文跨语言知识增强。

    一种平滑自回归基数估计方法

    公开(公告)号:CN115328972B

    公开(公告)日:2023-05-23

    申请号:CN202211024149.4

    申请日:2022-08-24

    Abstract: 本发明涉及数据库系统查询优化的基数估计技术领域,具体地说,涉及一种平滑自回归基数估计方法,包括:S1、将数据库表格数据编码后得到编码数据x;S2、对x进行平滑,期间复制x来引入不同程度的噪声得到平滑数据xrs和微弱平滑数据xcls,拼接所有平滑数据后得到输入xin;S3、将xin喂给平滑自回归模型,并进行训练;S4、通过训练好的模型进行基数估计。本发明能够达到目前最先进的基数估计准确度,能较出色地完成基数估计任务。

    一种商品知识图谱的构建方法

    公开(公告)号:CN105912656B

    公开(公告)日:2020-03-17

    申请号:CN201610220247.3

    申请日:2016-04-07

    Abstract: 本发明公开一种商品知识图谱的构建方法,包括商品知识图谱的客观性商品分类知识的构建和主观性用户观点知识的构建。主观性知识的构建包含采用基于多分类器集成的方法从用户评论中挖掘观点目标和观点词的过程和直接从网站上获取观点持有者、观点发表时间和/或观点的URL信息的过程。客观性知识的构建包含采用基于多源异构分类层次融合的方法获取兼顾深度和广度的商品分类层次的过程和直接从网站上获取商品实例的过程。本发明针对商品所构建的结构化的知识图谱涵盖了客观性商品分类和主观性用户观点两类知识,不仅能够为上层服务提供商品实体的准确解释,而且还能够了解众多用户对商品及其属性的观点描述,从而为用户提供更快速、更精准、更全面的商品知识服务。

    一种上下文感知的多轮对话文本到SQL自动转换方法

    公开(公告)号:CN119248818A

    公开(公告)日:2025-01-03

    申请号:CN202411451870.0

    申请日:2024-10-17

    Abstract: 本发明涉及一种上下文感知的多轮对话文本到SQL自动转换方法,包括:获取用户的待检索多轮对话文本,从CoSQL数据集中随机采样对话示例,生成示例集合;将待检索多轮对话文本和示例集合均输入大型语言模型分析用户意图,获取相应的SQL语句;其中,大型语言模型利用训练集进行低秩适配微调,并结合上下文感知动态损失函数优化模型参数;训练集包括:历史用户意图和历史SQL语句;对SQL语句进行验证,验证通过后,查询SQL语句对应的信息,生成用户所需信息。本发明利用大语言模型进行意图解析和SQL建议生成,提高了多轮文本到SQL任务训练数据的质量和多样性。

    标记打包策略的方面情感三元组抽取方法

    公开(公告)号:CN117951301A

    公开(公告)日:2024-04-30

    申请号:CN202410184469.9

    申请日:2024-02-19

    Abstract: 本发明公开了标记打包策略的方面情感三元组抽取方法,包括:构建初始实体识别模型和初始情感分类模型,对所述初始实体识别模型和初始所述情感分类模型进行独立训练,获取实体识别模型和情感分类模型;输入待测试句子,输入所述实体识别模型中,获取句子中方面词和观点词,基于所述实体识别模型预测的实体构建情感分类模型的输入;将所述情感分类模型的输入放到预训练语言模型中,获得每个单词及标记的特征向量,将所述特征向量输入图卷积神经网络中与句子中的依赖关系进行融合,获得最终的特征向量,将所述特征向量通过多层感知机进行情感分类,获得方面情感三元组。本发明能够提高三元组抽取效果。

Patent Agency Ranking