一种基于邻接矩阵与投机解码的大模型推理方法及系统

    公开(公告)号:CN119721244A

    公开(公告)日:2025-03-28

    申请号:CN202411799156.0

    申请日:2024-12-09

    Abstract: 一种基于邻接矩阵与投机解码的大模型推理方法及系统,它属于大模型推理技术领域。本发明解决了现有方法的加速能力有限,且构造草稿单词序列时没有充分利用大模型在解码过程中产生的其他候选单词的问题。本发明具体为:步骤1、构建用于存储词表中每个单词的k个候选单词的邻接矩阵;步骤2、根据输入查询序列从邻接矩阵中检索出由草稿单词序列组成的草稿树;步骤3、利用草稿树中的节点构造一个压缩序列,并基于草稿树构造注意力掩码矩阵;步骤4、将注意力掩码矩阵和压缩序列输入大模型,利用大模型对草稿树中的各个草稿单词序列进行验证得到推理结果,并更新邻接矩阵。本发明方法可以应用于大模型推理。

    一种面向多模态大模型的多粒度数据集构建方法、设备以及存储介质

    公开(公告)号:CN119274192A

    公开(公告)日:2025-01-07

    申请号:CN202411292090.6

    申请日:2024-09-14

    Abstract: 本发明属于多模态大模型领域,尤其涉及一种面向多模态大模型的多粒度数据集构建方法、设备以及存储介质。本发明目的是解决现有多模态大模型存在对图像内容理解能力差的问题。提出了种面向多模态大模型的多粒度数据集构建方法,包括:收集数据集;对数据集中的所有图像进行处理,得到预处理后的图像;预处理后的细粒度对象注释;数据集中所有图像的粗粒度字幕注释;细粒度对象类别标签描述;最终构建多模态大模型的多粒度数据集。多模态大模型的多粒度数据集解决了现有的多模态大模型训练集只使用粗粒度注释,忽视了细粒度注释,从而导致了模型对概念理解的不够深入,限制了模型的多模态任务性能差的问题。

    一种语义识别方法、装置、计算机设备和存储介质

    公开(公告)号:CN112052318B

    公开(公告)日:2024-11-08

    申请号:CN202010840252.0

    申请日:2020-08-18

    Abstract: 本申请公开了一种语义识别方法、装置、计算机设备和存储介质,可基于人工智能技术实现语义识别,通过语义识别模型可提取第一用户输入信息样本的文本特征信息,从而识别该样本的预测语义信息,基于该样本的标签和预测语义信息调整语义识别模型的参数;通过调整后的语义识别模型提取第二用户输入信息样本的文本特征信息,从而识别该样本的预测语义信息;基于该样本的标签和预测语义信息再调整语义识别模型的参数,得到训练完成的语义识别模型;基于该语义识别模型对目标用户输入信息进行语义识别得到语义信息,其中,第一用户输入信息样本无需人工标注,可降低对人工标注的依赖,而采用第二用户输入信息样本对模型进行训练,可提升语义识别准确性。

    一种基于表达式分解的数值推理方法、系统、存储介质及设备

    公开(公告)号:CN118643813A

    公开(公告)日:2024-09-13

    申请号:CN202410836145.9

    申请日:2024-06-26

    Abstract: 一种基于表达式分解的数值推理方法、系统、存储介质及设备,它属于自然语言处理领域。本发明解决了现有数值推理模型难以处理表格类型的数据的问题。本发明首先构造表格预测任务数据、表格计算任务数据以及别名定位任务数据,将构造的数据作为数值推理模型的预训练数据;利用预训练数据对数值推理模型进行预训练后,获得预训练好的数值推理模型;再基于表达式分解来构造数值推理模型的训练数据;利用构造的训练数据对预训练好的数值推理模型进行训练,获得训练好的数值推理模型;将用户问题作为训练好的数值推理模型的输入,通过训练好的数值推理模型输出对输入问题的回复。本发明方法可以应用于数值推理。

    基于模板检索的文本到SQL生成方法

    公开(公告)号:CN115203236B

    公开(公告)日:2023-05-12

    申请号:CN202210836518.3

    申请日:2022-07-15

    Abstract: 基于模板检索的文本到SQL生成方法,涉及数据处理技术领域,针对现有技术中针对长度较长的SQL语句解码速度慢的问题,由于非自回归模型的并行性带来时间性能提升的同时,也存在一些缺陷,无法在生成阶段观察到目标序列的上下文信息,因此本申请通过模板检索和多次迭代生成,弥补了非自回归模型的不足,本申请的技术方案对于结构复杂,长度较长的SQL语句,解码速度较传统方式提升了50%以上。本申请技术方案的模板库具有可扩展性,易于迁移,且具有较快的生成速度。

    一种图到图结构的自动标注转换方法

    公开(公告)号:CN115391608A

    公开(公告)日:2022-11-25

    申请号:CN202211013667.6

    申请日:2022-08-23

    Abstract: 一种图到图结构的自动标注转换方法,涉及自然语言处理技术领域,针对现有技术中通过人工进行标注规范转换准确率低的问题,本申请通过简单有效的线性变换将源解析器中的核心参数适配到目标解析器中,并继承源解析器中的所有其他参数。图到图线性变换方法能充分继承源标准规范的信息并将其迁移到目标规范,因此本申请能有效避免人工规则和大量平行语料的限制,大幅提升图结构转换的准确率以及获得高质量的图结构标注数据。在少量平行语料帮助下,本申请的方法可以取得比现有的各种基线模型更好的效果。

    一种自构造上下文的反编译方法、设备以及存储介质

    公开(公告)号:CN119356690A

    公开(公告)日:2025-01-24

    申请号:CN202411492406.6

    申请日:2024-10-24

    Abstract: 本发明属于计算机技术领域,尤其涉及一种自构造上下文的反编译方法、设备以及存储介质。针对现有的技术生成的反编译代码的准确性不高的问题。提出了一种自构造上下文的反编译方法包括:获取待反编译的二进制文件X,将待反编译的二进制文件X进行反汇编处理,得到获得汇编代码A;使用预训练生成模型对汇编代码A进行反编译处理,得到编译代码B;使用编译器对得到的编译代码B进行编译处理,得到新的二进制文件C;对得到的二进制文件C进行反汇编处理,得到汇编代码E,将汇编代码E和编译代码B构建为一组样例Y;将得到的样例Y和汇编代码A拼接起来输入预训练生成模型中,进行反编译处理,得到新的编译代码F。

Patent Agency Ranking