基于跨语言知识迁移和经验驱动的电力行业模型训练方法

    公开(公告)号:CN117933364A

    公开(公告)日:2024-04-26

    申请号:CN202410315687.1

    申请日:2024-03-20

    Abstract: 本发明属于电力行业自然语言处理技术领域,具体涉及基于跨语言知识迁移和经验驱动的电力行业模型训练方法。本发明针对现有行业大模型的局限,提出一种两阶段训练方法。第一阶段为跨语言迁移的增量预训练:利用不同语种语料对开源模型进行增量预训练,可扩大模型知识范围,强化模型记忆程度;第二阶段为专家经验驱动的指令微调训练:充分利用专家业务经验指导教师模型生成符合实际的任务指令样本,并利用这些指令样本对模型进行微调训练;该方法既用到了专家的经验,又“蒸馏”了教师模型自身的知识能力,可以使模型更好地理解和执行电力领域特定任务,有助于提高模型行业应用的可靠性。

    基于跨语言知识迁移和经验驱动的电力行业模型训练方法

    公开(公告)号:CN117933364B

    公开(公告)日:2024-06-04

    申请号:CN202410315687.1

    申请日:2024-03-20

    Abstract: 本发明属于电力行业自然语言处理技术领域,具体涉及基于跨语言知识迁移和经验驱动的电力行业模型训练方法。本发明针对现有行业大模型的局限,提出一种两阶段训练方法。第一阶段为跨语言迁移的增量预训练:利用不同语种语料对开源模型进行增量预训练,可扩大模型知识范围,强化模型记忆程度;第二阶段为专家经验驱动的指令微调训练:充分利用专家业务经验指导教师模型生成符合实际的任务指令样本,并利用这些指令样本对模型进行微调训练;该方法既用到了专家的经验,又“蒸馏”了教师模型自身的知识能力,可以使模型更好地理解和执行电力领域特定任务,有助于提高模型行业应用的可靠性。

    一种短期电力负荷精细修正预测方法、系统、装置、介质

    公开(公告)号:CN115271215A

    公开(公告)日:2022-11-01

    申请号:CN202210913740.9

    申请日:2022-07-29

    Abstract: 本发明公开了一种短期电力负荷精细修正预测方法、系统、装置、介质,方法包括:利用训练好的平均负荷集成模型,对预测日每一段的平均负荷进行预测,得到预测日每一段的平均负荷的预测结果;利用训练好的时刻点负荷集成模型,对预测日各时刻点的负荷值进行预测,得到各时刻点初期的负荷预测结果;利用预测日每一段的平均负荷的预测结果对相应的预测日的初期负荷预测结果进行修正,得到预测日各时刻点的最终预测负荷结果。与人工确定系数相比,该修正方法更具有可解释性、智能性、降低了人工干预,对预测结果的修正更加精细准确。

    一种基于ANN和迁移学习的节假日负荷预测方法

    公开(公告)号:CN115564129A

    公开(公告)日:2023-01-03

    申请号:CN202211285786.7

    申请日:2022-10-20

    Abstract: 本发明公开了一种基于ANN和迁移学习的节假日负荷预测方法,包括以下步骤:对预处理后的数据集进行特征工程操作形成全部负荷数据集,从全部负荷数据集中提取出节日负荷数据集和假日负荷数据集;采用ANN进行构建全数据源模型,并利用全部负荷训练数据集对全数据源模型进行训练;将全数据源模型作为预训练模型,对节日/假日负荷数据集进行训练,使用与全数据源模型相同的参数,得到最终节日/假日负荷训练模型;对预测日各时刻点的负荷值进行预测,得到预测日各时刻点负荷的预测结果。将节日负荷数据和假日负荷数据分别通过ANN进行节日预测和假日预测,可以更好的学习到节日和假日各自的特征,进而提升预测精度。

    一种深度学习驱动的异常识别与修复方法及智能化系统

    公开(公告)号:CN113240011A

    公开(公告)日:2021-08-10

    申请号:CN202110528781.1

    申请日:2021-05-14

    Abstract: 本发明涉及数据处理领域,具体涉及一种深度学习驱动的异常识别与修复方法及智能化系统。包括以下步骤:S1:数据结构识别,S2:数据特征变换,S3:训练异常检测和修复神经网络,S4:异常数据识别与异常修复,S5:数据特征还原。采用深度学习方法,对每个特征使用双分量混合模型,其中一个分量用于解释干净单元(即正常值),另一个分量用于解释异常单元(即异常值);通过降低异常单元的影响来模拟潜在的正常数据分布,为数据单元提供异常值分数和对单元修复的估计;将变分自编码器和生成对抗网络两个深度生成模型进行结合,有利于生成更好的修复结果;最终实现利用无监督学习方式对混合属性数据进行cell‑level(单元级别)的异常识别及修复。

Patent Agency Ranking