模型训练方法、业务执行方法、装置、介质及电子设备

    公开(公告)号:CN119988973A

    公开(公告)日:2025-05-13

    申请号:CN202510090380.0

    申请日:2025-01-20

    Abstract: 本说明书公开一种模型训练方法、业务执行方法、装置、介质及电子设备,获取目标样本集,而后,针对目标样本集中的每个训练样本,根据该训练样本,确定该训练样本对应的输入信息以及输入信息所对应的引导信息,之后,将输入信息以及引导信息输入到待训练模型中,以使待训练模型根据输入信息以及引导信息,确定输出输入信息对应输出结果时所基于的初始逻辑信息,根据输入信息对应的标准输出结果,通过待训练模型对初始逻辑信息进行调整,得到调整后逻辑信息,根据调整后逻辑信息,确定待训练模型针对输入信息的输出结果,以根据输出结果,训练待训练模型。

    一种基于大语言模型的问题应答方法及装置

    公开(公告)号:CN117235226A

    公开(公告)日:2023-12-15

    申请号:CN202311227701.4

    申请日:2023-09-21

    Inventor: 熊文文 易灿

    Abstract: 本说明书一个或多个实施例公开了一种基于大语言模型的问题应答方法,该方法首先获取针对待查询的知识信息而输入的目标问题,其次对目标问题进行向量化处理,得到问题向量,然后基于问题向量,在预设的文档向量数据库中进行检索,得到与问题向量匹配的相关文档,文档向量数据库是针对与待查询的知识信息相关的知识库文档进行向量化处理所得到的数据库,最后基于目标问题检索得到的相关文档生成用于大语言模型的提示信息,并将提示信息输入大语言模型中,得到目标问题对应的答案。

    训练信用评分模型的方法、装置及设备

    公开(公告)号:CN110827143A

    公开(公告)日:2020-02-21

    申请号:CN201911089582.4

    申请日:2019-11-08

    Inventor: 熊文文

    Abstract: 本说明书实施例提供一种训练信用评分模型的方法、装置及设备,在训练信用评分模型的方法中,获取用户的描述信息以及用户的履约行为信息。根据用户的履约行为信息,确定用户在各预定时期发生违约的概率。至少将用户的描述信息作为样本特征,将用户在各预定时期发生违约的概率作为多个样本标签。将样本特征和多个样本标签作为一个训练样本,添加到训练样本集合中。该训练样本集合用于训练信用评分模型。该信用评分模型用于根据新用户的描述信息预测新用户在各预定时期发生违约的概率。

    文本相似度确定模型的训练方法和文本相似度确定方法

    公开(公告)号:CN118821756A

    公开(公告)日:2024-10-22

    申请号:CN202410853215.1

    申请日:2024-06-27

    Inventor: 熊文文

    Abstract: 一种文本相似度确定模型的训练方法,该方法包括:获取包括第一文档、第一文档对应的第一语句的正样本对,包括第二文档、与第二文档不对应的第二语句的负样本对;将第一语句和第二语句输入第一编码器,得到第一查询向量和第二查询向量;将第一文档和第二文档输入第二编码器,得到第一文档向量和第二文档向量;将第一查询向量和第一文档向量,输入交互层,得到第一相似度评分;根据第一相似度评分、第一标签值,确定第一差异;将第二查询向量和第二文档向量,输入交互层,得到第二相似度评分;根据第二相似度评分、第二标签值,确定第二差异;以第一差异趋向变小、第二差异趋向变大目的,更新第一编码器、第二编码器和交互层的网络参数。

    大语言模型的微调方法和装置
    6.
    发明公开

    公开(公告)号:CN119990183A

    公开(公告)日:2025-05-13

    申请号:CN202510199077.4

    申请日:2025-02-21

    Abstract: 本说明书实施例提供一种大语言模型的微调方法和装置。方法包括:获取预训练的大语言模型的权重矩阵,将权重矩阵分解为幅度向量和第一方向矩阵,并初始化第一低秩矩阵和第二低秩矩阵,第一低秩矩阵和第二低秩矩阵的乘积用于拟合第一方向矩阵的增量矩阵;保持第一方向矩阵不变,执行多轮微调,每轮微调包括:将训练文本输入大语言模型,进行损失函数的计算;基于损失函数更新幅度向量;确定损失函数相对于当前方向矩阵的第一梯度矩阵;根据第一梯度矩阵得到更新的第一低秩矩阵以及第二低秩矩阵;基于更新的第一低秩矩阵和第二低秩矩阵的乘积确定本轮增量矩阵,将本轮增量矩阵叠加在第一方向矩阵上,作为本轮更新后的方向矩阵。

    一种交易风险识别方法、装置、设备及介质

    公开(公告)号:CN111932273B

    公开(公告)日:2021-02-19

    申请号:CN202011041842.3

    申请日:2020-09-28

    Abstract: 本说明书实施例公开了一种交易风险识别方法,包括:对任一待进行风险识别的交易,获取所述交易的各个交易节点对应的子图数据;将所述交易的各个交易节点对应的子图数据进行融合,确定融合后的图数据;根据所述融合后的图数据确定交易节点关系向量;根据所述交易节点关系向量确定所述交易的风险概率,根据所述风险概率判定所述交易是否存在风险。

    一种基于大语言模型的交互问答方法及装置

    公开(公告)号:CN118689982A

    公开(公告)日:2024-09-24

    申请号:CN202410781049.9

    申请日:2024-06-14

    Inventor: 熊文文

    Abstract: 本发明涉及人工智能技术领域,本申请实施例公开了一种基于大语言模型的交互问答方法,该方法利用记忆单元的思想,构建了一个案例库以存储交互失败案例,通过这些交互失败案例构建提示信息,来快速便捷地矫正大语言模型针对这些交互失败案例中的问题的答复策略。当有新的交互失败情况出现时,只需要更新案例库,不需要对大语言模型行重新训练,从而以极低的成本实现大语言模型的快速矫正。本申请实施例所述的基于大语言模型的交互问答装置同样具有上述有益效果。

    一种模型训练和信息推荐的方法、装置、存储介质及设备

    公开(公告)号:CN116662657A

    公开(公告)日:2023-08-29

    申请号:CN202310627053.5

    申请日:2023-05-30

    Inventor: 熊文文

    Abstract: 本说明书公开了一种模型训练和信息推荐的方法、装置、存储介质及设备,用于隐私保护。所述模型训练的方法包括:获取搜索词以及领域描述信息;从词库中确定出在领域描述信息对应搜索领域下与搜索词相匹配的第一关键词以及至少一个第二关键词;根据搜索词、领域描述信息、第一关键词以及各第二关键词生成训练样本;将训练样本输入到待训练的信息推荐模型,确定在领域描述信息对应的搜索领域下各第二关键词与搜索词之间的关联度,作为参照关联度,并确定在领域描述信息对应的搜索领域下第一关键词和搜索词之间的关联度与参照关联度之间的差值;以最小化差值与训练样本对应的预设标签之间的偏差为优化目标,对信息推荐模型进行训练。

    一种交易风险识别方法、装置、设备及介质

    公开(公告)号:CN111932273A

    公开(公告)日:2020-11-13

    申请号:CN202011041842.3

    申请日:2020-09-28

    Abstract: 本说明书实施例公开了一种交易风险识别方法,包括:对任一待进行风险识别的交易,获取所述交易的各个交易节点对应的子图数据;将所述交易的各个交易节点对应的子图数据进行融合,确定融合后的图数据;根据所述融合后的图数据确定交易节点关系向量;根据所述交易节点关系向量确定所述交易的风险概率,根据所述风险概率判定所述交易是否存在风险。

Patent Agency Ranking