基于跨语言知识迁移和经验驱动的电力行业模型训练方法

    公开(公告)号:CN117933364A

    公开(公告)日:2024-04-26

    申请号:CN202410315687.1

    申请日:2024-03-20

    Abstract: 本发明属于电力行业自然语言处理技术领域,具体涉及基于跨语言知识迁移和经验驱动的电力行业模型训练方法。本发明针对现有行业大模型的局限,提出一种两阶段训练方法。第一阶段为跨语言迁移的增量预训练:利用不同语种语料对开源模型进行增量预训练,可扩大模型知识范围,强化模型记忆程度;第二阶段为专家经验驱动的指令微调训练:充分利用专家业务经验指导教师模型生成符合实际的任务指令样本,并利用这些指令样本对模型进行微调训练;该方法既用到了专家的经验,又“蒸馏”了教师模型自身的知识能力,可以使模型更好地理解和执行电力领域特定任务,有助于提高模型行业应用的可靠性。

    基于跨语言知识迁移和经验驱动的电力行业模型训练方法

    公开(公告)号:CN117933364B

    公开(公告)日:2024-06-04

    申请号:CN202410315687.1

    申请日:2024-03-20

    Abstract: 本发明属于电力行业自然语言处理技术领域,具体涉及基于跨语言知识迁移和经验驱动的电力行业模型训练方法。本发明针对现有行业大模型的局限,提出一种两阶段训练方法。第一阶段为跨语言迁移的增量预训练:利用不同语种语料对开源模型进行增量预训练,可扩大模型知识范围,强化模型记忆程度;第二阶段为专家经验驱动的指令微调训练:充分利用专家业务经验指导教师模型生成符合实际的任务指令样本,并利用这些指令样本对模型进行微调训练;该方法既用到了专家的经验,又“蒸馏”了教师模型自身的知识能力,可以使模型更好地理解和执行电力领域特定任务,有助于提高模型行业应用的可靠性。

    一种短期电力负荷精细修正预测方法、系统、装置、介质

    公开(公告)号:CN115271215A

    公开(公告)日:2022-11-01

    申请号:CN202210913740.9

    申请日:2022-07-29

    Abstract: 本发明公开了一种短期电力负荷精细修正预测方法、系统、装置、介质,方法包括:利用训练好的平均负荷集成模型,对预测日每一段的平均负荷进行预测,得到预测日每一段的平均负荷的预测结果;利用训练好的时刻点负荷集成模型,对预测日各时刻点的负荷值进行预测,得到各时刻点初期的负荷预测结果;利用预测日每一段的平均负荷的预测结果对相应的预测日的初期负荷预测结果进行修正,得到预测日各时刻点的最终预测负荷结果。与人工确定系数相比,该修正方法更具有可解释性、智能性、降低了人工干预,对预测结果的修正更加精细准确。

    一种基于ANN和迁移学习的节假日负荷预测方法

    公开(公告)号:CN115564129A

    公开(公告)日:2023-01-03

    申请号:CN202211285786.7

    申请日:2022-10-20

    Abstract: 本发明公开了一种基于ANN和迁移学习的节假日负荷预测方法,包括以下步骤:对预处理后的数据集进行特征工程操作形成全部负荷数据集,从全部负荷数据集中提取出节日负荷数据集和假日负荷数据集;采用ANN进行构建全数据源模型,并利用全部负荷训练数据集对全数据源模型进行训练;将全数据源模型作为预训练模型,对节日/假日负荷数据集进行训练,使用与全数据源模型相同的参数,得到最终节日/假日负荷训练模型;对预测日各时刻点的负荷值进行预测,得到预测日各时刻点负荷的预测结果。将节日负荷数据和假日负荷数据分别通过ANN进行节日预测和假日预测,可以更好的学习到节日和假日各自的特征,进而提升预测精度。

Patent Agency Ranking