公开(公告)号：CN119150962A

公开(公告)日：2024-12-17

申请号：CN202411229090.1

申请日：2024-09-03

Applicant: 国网智能电网研究院有限公司 ,  中国电力科学研究院有限公司 ,  国网江苏省电力有限公司 ,  国网江苏省电力有限公司南通供电分公司

Inventor： 郑和奇 ,  刘同阳 ,  胡宇巍 ,  张赛 ,  王志皓 ,  张强 ,  王晓慧 ,  姜鑫东 ,  蒋亮 ,  季润阳 ,  石聪聪 ,  陈晰 ,  周飞 ,  高昆仑

IPC: G06N5/02 ,  G06F16/80 ,  G06F18/25 ,  G06F18/2415 ,  G06V30/148 ,  G06N3/0455 ,  G06N3/096

Abstract: 本发明公开一种私域半结构化知识表示方法、系统及相关装置，属于自然语言处理技术领域，方法包括：获取的表格文本序列；利用OCR或文档解析获取所述表格文本序列的Markdown形式文本序列，并利用启发式规则进行粗粒度的表格格式修正；采用预先训练的表格类别判别模型对格式修正后的表格进行类别判定，得到分类结果和类别概率；根据所述分类结果和类别概率，并利用教师模型进行表格知识蒸馏得到表格知识文本；基于模型自检的投票机制，从所述表格知识文本中投票出教师模型最认可的表格知识的最后文本表示。该方法提高了私域半结构化知识表示的完整性和准确性，对表格知识候选进行打分，增加了方法的容错，提升了鲁棒性。

公开(公告)号：CN119131826A

公开(公告)日：2024-12-13

申请号：CN202411185184.3

申请日：2024-08-27

Applicant: 国网智能电网研究院有限公司 ,  中国电力科学研究院有限公司

Inventor： 胡宇巍 ,  刘同阳 ,  郑和奇 ,  张赛 ,  王志皓 ,  张强 ,  梁潇 ,  石聪聪 ,  陈晰 ,  周飞 ,  高昆仑

IPC: G06V30/416 ,  G06V30/412 ,  G06V30/14 ,  G06V30/19 ,  G06V10/82 ,  G06N3/0455 ,  G06Q50/06 ,  G06V30/146 ,  G06V30/148 ,  G06V30/18 ,  G06N3/0464

Abstract: 本发明公开一种电力知识图片内容提取方法和系统，属于电力知识提取技术领域，方法包括：获取电力知识图片；采用预先训练的电力领域内容提取模型将所述电力知识图片识别成文字信息；通过数据质量判别器对所述文字信息进行质量判断，若质量判别为优，则输出对应的格式化信息，否则将所述文字信息通过电力专家标注成对应的格式化信息。该方法的电力领域内容提取模型能快速的识别文字信息，并通过数据质量判别器对所述文字信息进行质量判断，准确性更高，处理效率更高。

公开(公告)号：CN117668183A

公开(公告)日：2024-03-08

申请号：CN202311617146.6

申请日：2023-11-29

Applicant: 国网智能电网研究院有限公司

Inventor： 宋博川 ,  张赛 ,  胡宇巍 ,  周飞 ,  梁潇 ,  张强

IPC: G06F16/332 ,  G06F16/31 ,  G06N20/00 ,  G06F16/33

Abstract: 本发明涉及人工智能技术领域，公开了一种电力专用插件构建以及电力设备检索问答方法，电力专用插件构建方法包括：获取预训练模型以及训练数据；使用预训练模型初始化检索模型和重排模型；采用分步迭代优化方法基于训练数据对检索模型和重排模型进行联合训练；使用联合训练后的检索模型和重排模型构建电力专用插件。本发明采用分步迭代优化方法联合训练检索模型和重排模型，使用训练后的检索模型和重排模型构建电力专用插件构建，采用插件化的方式将该电力专用插件与大语言模型结合，实现了为大语言模型补充电力专业知识的目的，达到了将传统电力领域任务与大语言模型相结合的效果，解决了大语言模型缺乏电力领域专业知识的问题。

公开(公告)号：CN119106664A

公开(公告)日：2024-12-10

申请号：CN202411108350.X

申请日：2024-08-13

Applicant: 国网智能电网研究院有限公司

Inventor： 刘同阳 ,  郑和奇 ,  胡宇巍 ,  张赛 ,  王志皓 ,  张强 ,  梁潇 ,  石聪聪 ,  陈晰 ,  周飞 ,  高昆仑

IPC: G06F40/16 ,  G06F40/30 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/094

Abstract: 本发明属于人工智能领域，公开了一种语义大模型增量预训练方法及相关装置，包括：获取专业领域增量训练样本、语义大模型和语义大模型预训练样本；将语义大模型作为生成器和判别器构建对抗生成网络，并基于专业领域增量训练样本和语义大模型预训练样本训练对抗生成网络；获取训练后的对抗生成网络中的生成器，得到专业领域增量预训练大模型。可有效避免语义大模型在拟合专业领域增量训练样本时发生灾难性遗忘的风险，也有效避免了模型崩溃问题。可以在专业领域的数据基础上使用较小的算力、样本和时间成本完成增量训练，可借助语义大模型本身的理解能力，更好地学习和适应专业领域的专业术语、知识结构和业务逻辑，提高在专业领域的应用效果。

公开(公告)号：CN119067233A

公开(公告)日：2024-12-03

申请号：CN202411034052.0

申请日：2024-07-30

Applicant: 国网智能电网研究院有限公司

Inventor： 张赛 ,  刘同阳 ,  宋博川 ,  胡宇巍 ,  郑和奇 ,  王志皓 ,  张强 ,  梁潇 ,  石聪聪 ,  陈晰 ,  周飞 ,  高昆仑

IPC: G06N20/00 ,  G06F18/214 ,  G06F18/241 ,  G06F16/35

Abstract: 本发明属于机器学习技术领域，公开了一种专业领域文本大模型的多阶段预训练方法及相关装置；其中，所述多阶段预训练方法包括：基于获取的全量数据，采用混合随机采样的方式对待预训练的文本大模型进行预设轮次的训练，获得一次训练后的文本大模型；对全量数据进行分批次采样，并计算获得各批次采样数据对应的交叉熵损失，基于各批次采样数据对应的交叉熵损失对全量数据进行难度分类，获得各个预设难度等级的预训练数据集；基于各个预设难度等级的预训练数据集，对一次训练后的文本大模型进行由易到难的分阶段预训练，获得多阶段预训练后的专业领域文本大模型。本发明技术方案训练获得的文本大模型具有更好的测试结果以及更好的模型鲁棒性。