基于大语言模型微调算法的专业问答模型的构建方法

    公开(公告)号:CN118469020A

    公开(公告)日:2024-08-09

    申请号:CN202410783303.9

    申请日:2024-06-18

    Inventor: 仇祎诚 沙枫 牛力

    Abstract: 本发明属于大语言模型技术领域,具体涉及一种基于大语言模型微调算法的专业问答模型的构建方法。该构建方法,包括如下步骤:构建特定领域专业语言问答数据集;构建专业问答模型:预训练大语言模型、载入MLA‑LoRA模块和构建专业问答模型;微调训练:结合数据集对专业问答模型进行微调训练。本发明提出了一项创新性的方法,采用大语言模型微调的策略来构建特定专业领域问答模型,基于预训练大语言模型,通过构建的特定领域专业问答数据集,来微调来构建专业知识问答模型。本发明能够适用于更广泛的专业领域。这种泛用性的提高意味着该模型不仅局限于一个特定的应用场景,而是可以灵活应用于多种不同的专业领域,从而提供更广泛的服务和应用可能性。

    危化品应急辅助救援决策系统的构建方法及系统

    公开(公告)号:CN118114889A

    公开(公告)日:2024-05-31

    申请号:CN202410536157.X

    申请日:2024-04-30

    Inventor: 牛力 沙枫 仇祎诚

    Abstract: 本发明属于化工园区应急管理技术领域,具体涉及一种危化品应急辅助救援决策系统的构建方法及系统。该构建方法,包括如下步骤:构建包括预处理安全事故应急预案的训练数据集;通过高效微调训练方法构建由大语言模型和Lora模型组成的应急辅助决策模型并微调训练;所述应急辅助决策模型对于输入的自然语言事故描述,进行决策或应急辅助救援决策信息生成。本发明可以帮助园区应急救援系统更快速、准确地响应突发事件,并传递出相应建议。

    一种基于目标重叠度计算和自适应调整的数据增强方法

    公开(公告)号:CN114418898A

    公开(公告)日:2022-04-29

    申请号:CN202210274449.1

    申请日:2022-03-21

    Abstract: 本发明提供了一种基于目标重叠度计算和自适应调整的数据增强方法,包括:S1、将已标注的目标检测任务的数据集作为对象;S2、对待扩展目标进行选择:选定一个或多个目标类别作为待扩展类别,筛选出整个数据集中包含所述待扩展类别的图片的集合作为待扩展集合,从整个数据集中随机选取一定比例数量的图片组成集合作为待生成集合;S3、所述待扩展集合与所述待生成集合中的图片随机组合,通过重叠度计算与自适应调整的方法,生成新图片与新标签以进行数据增强。本发明可以提升数据集中的图片数量、目标数量、目标与背景组合的多样性,提升深度神经网络模型的训练效率和性能。

    用于异常检测的对抗重构网络设计、训练方法及检测方法

    公开(公告)号:CN114117333A

    公开(公告)日:2022-03-01

    申请号:CN202210068973.3

    申请日:2022-01-20

    Abstract: 本发明公开了一种用于异常检测的对抗重构网络设计、训练方法及检测方法,尤其涉及一种用于异常检测的可支持多段式训练的对抗重构网络损失函数设计方法,包括重构网络损失函数和判别网络损失函数,所述的重构网络损失函数包括重构损失函数和重构对抗损失函数,所述的判别网络损失函数包括真实图像判别损失函数和判别对抗损失函数,所述的重构损失函数用于评估重构网络的重构性能,真实图像判别损失函数用于评估判别网络的判别性能,所述的重构对抗损失函数和判别对抗损失函数用于重构网络和判别网络对抗训练的交互。前述对抗重构网络损失函数涉及方法为多段式训练策略提供基础,使模型训练更稳定,克服对抗重构网络的对抗训练不稳定的问题,保证最终的重构网络能够高效复原正常样本,且判别网络对正常样本赋高分。

    一种基于芯片层级隐私计算的主机远程监控方法

    公开(公告)号:CN113569266B

    公开(公告)日:2021-12-28

    申请号:CN202111104191.2

    申请日:2021-09-22

    Abstract: 本发明公开了一种基于芯片层级隐私计算的主机远程监控方法,包括:S1.用户端主机中的监控软件在基于芯片层级的可信执行环境中启动;S2.判断用户端主机本地是否存在有效的隐私数据,若是,直接进入步骤S4,否则,进入步骤S3;S3.与监管方建立安全连接并抓取隐私数据;S4.运行在可信执行环境中的监控软件基于隐私数据执行相关监测指令,并对监测结果加密和签名后传输给监管方。本方案利用基于隐私计算可信执行环境来保证用户端监测信息的有效性、不可篡改性和监控的安全性,并且基于监管方的加密密钥和签名密钥来对监测信息进行加密和签名,能够将监管信息存放在本地,避免实时连接带来的大开销成本。

    基于高可信环境下数据访问过程的信息安全方法及系统

    公开(公告)号:CN113282946A

    公开(公告)日:2021-08-20

    申请号:CN202110817060.2

    申请日:2021-07-20

    Abstract: 本发明公开了一种基于高可信环境下数据访问过程的信息安全方法及系统,包括:S1.用户交互单元可信接收任务请求并生成任务标识符;S2.数据运算单元下载并加载任务请求对应的应用程序至加密内存,并得到测量值及其测量值签名;S3.数据授权单元根据测量值生成访问令牌;S4.数据运算单元基于访问令牌使用数据中心相应的数据,基于该数据得到结果,将结果和使用数据进行可信处理分别得到结果信息和使用数据信息;S5.用户交互单元对使用数据信息和结果信息分别进行可信验证,并在验证成功后将结果信息发送给数据使用方。本方案对实时移动到数据端的程序做实时的审查、验证,在验证成功后才授权其访问数据中心,有效避免不可信软件对数据安全造成威胁。

    一种考虑量化和剪枝的影响的模型优化方法及系统

    公开(公告)号:CN118485893A

    公开(公告)日:2024-08-13

    申请号:CN202410692099.X

    申请日:2024-05-31

    Abstract: 本发明公开了一种考虑量化和剪枝的影响的模型优化方法及系统,涉及图像处理技术领域,方法包括获取预训练模型和基本数据;对预训练模型进行结构转换,得到转换后的模型;对转换后的模型进行参数评分,得到模型参数评分结果;根据模型参数评分结果,对转换后的模型进行量化剪枝,得到裁剪后的模型;利用图像训练样本集对裁剪后的模型进行迭代训练,并判断训练后的模型是否达到目标精度和目标计算量,若是,则将训练后的模型作为优化后的模型;否则返回步骤“对转换后的模型进行参数评分,得到模型参数评分结果”,直至训练后的模型达到目标精度和目标计算量为止。本发明可有效提升图像处理模型的图像处理速度和效率。

    一种基于目标重叠度计算和自适应调整的数据增强方法

    公开(公告)号:CN114418898B

    公开(公告)日:2022-07-26

    申请号:CN202210274449.1

    申请日:2022-03-21

    Abstract: 本发明提供了一种基于目标重叠度计算和自适应调整的数据增强方法,包括:S1、将已标注的目标检测任务的数据集作为对象;S2、对待扩展目标进行选择:选定一个或多个目标类别作为待扩展类别,筛选出整个数据集中包含所述待扩展类别的图片的集合作为待扩展集合,从整个数据集中随机选取一定比例数量的图片组成集合作为待生成集合;S3、所述待扩展集合与所述待生成集合中的图片随机组合,通过重叠度计算与自适应调整的方法,生成新图片与新标签以进行数据增强。本发明可以提升数据集中的图片数量、目标数量、目标与背景组合的多样性,提升深度神经网络模型的训练效率和性能。

Patent Agency Ranking