公开(公告)号：CN119962665A

公开(公告)日：2025-05-09

申请号：CN202411830901.3

申请日：2024-12-12

Applicant: 航天信息股份有限公司

Inventor： 刘振宇 ,  聂润泽 ,  马兰 ,  王志刚 ,  张平

IPC: G06N5/04 ,  G06F17/16 ,  G06F18/214

Abstract: 本发明公开了一种基于量化感知微调的大模型推理方法、装置及介质。其中，方法包括：将大模型的原始参数矩阵进行结构改造，确定各通道原始参数矩阵对应的横向向量化向量、纵向向量化向量以及低比特固定矩阵；基于横向向量化向量、纵向向量化向量以及低比特固定矩阵对大模型进行逐层进行参数量化微调预训练，获取大模型各通道的横向向量化向量值和纵向向量化向量值；根据大模型各通道的横向向量化向量值、纵向向量化向量值以及低比特固定矩阵，确定大模型部署推理的部署参数矩阵；采用部署有部署参数矩阵的大模型对输入数据进行推理分析获取输入数据的推理结果。

公开(公告)号：CN117391420A

公开(公告)日：2024-01-12

申请号：CN202311412224.9

申请日：2023-10-27

Applicant: 航天信息股份有限公司

Inventor： 赖新明 ,  王志刚 ,  聂润泽 ,  李宏伟 ,  马兰 ,  张平

IPC: G06Q10/0633 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请实施例提供了一种业务引导方法、装置、电子设备及存储介质，该业务引导方法，包括：获取视觉信息、文本信息和语音信息；对所述视觉信息、文本信息和语音信息进行处理，获得所述视觉信息、文本信息和所述语音信息对应的至少三个嵌入向量；通过预先训练的模态融合编码模型对所述至少三个嵌入向量进行组合，获得嵌入矩阵；通过预先训练的任务引导模型，根据所述嵌入矩阵确定业务引导流程，并根据所述业务引导流程进行业务引导。通过本申请实施例提供的业务引导方法可以避免通过人工编写脚本进行业务引导，且可以满足用户的不同需求，因此实用性较高。

公开(公告)号：CN119991316A

公开(公告)日：2025-05-13

申请号：CN202411841023.5

申请日：2024-12-13

Applicant: 航天信息股份有限公司

Inventor： 黄键 ,  刘坤 ,  乔振浩 ,  聂润泽 ,  马兰 ,  刘振宇 ,  王志刚

IPC: G06Q40/12 ,  G06F18/10 ,  G06F18/2431 ,  G06F18/214

Abstract: 本发明公开了一种基于财税大模型的入账凭证自动生成方法及装置。方法包括：对收集的财务数据进行数据预处理，获取有效财务数据集；基于有效财务数据集对财税大模型进行继续预训练，获取具备财税知识的财务大模型，并基于提示语工程和GPT4对有效财务数据集进行预标注，获取带有标注信息的样本数据集；根据样本数据集对具备财税知识的财务大模型进行指令微调，得到具备关键要素抽取功能以及凭证生成功能的财务大模型；利用关键要素抽取功能对待生成凭证输入数据进行关键要素抽取，获取待生成凭证输入数据的关键要素；利用凭证生成模型根据预先生成的凭证生成指令对关键要素进行凭证生成，获取待生成凭证输入数据对应的入账凭证。

公开(公告)号：CN119441408A

公开(公告)日：2025-02-14

申请号：CN202411562583.7

申请日：2024-11-04

Applicant: 航天信息股份有限公司

Inventor： 刘芬 ,  聂润泽 ,  刘坤 ,  马兰 ,  刘振宇 ,  王志刚 ,  张平

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/335 ,  G06F16/36 ,  G06F16/35

Abstract: 本申请涉及人工智能领域，尤其涉及自然语言处理技术领域，提供一种信息处理方法、装置、电子设备和存储介质，提高大语言模型问答结果的准确性。方法包括：接收对象输入的目标问题；将目标问题输入已训练的分类模型中，获取目标问题所属的问题意图；根据问题意图，确定与目标问题对应的处理流程；其中，若问题意图为第一类意图，则处理流程为对目标问题进行中间处理后，将中间处理结果输入财税大模型；若问题意图为第二类意图，则处理流程为将目标问题直接输入财税大模型；将财税大模型的输出结果作为目标问题的答案。由于本申请对目标问题通过分类模型进行分类，可简单高效实现问题意图识别，提高大语言模型问答结果的准确性。

公开(公告)号：CN119623626A

公开(公告)日：2025-03-14

申请号：CN202411591012.6

申请日：2024-11-08

Applicant: 航天信息股份有限公司

Inventor： 聂润泽 ,  乔振浩 ,  马兰 ,  刘振宇 ,  王志刚 ,  张平

IPC: G06N5/04 ,  G06N3/0455 ,  G06F18/2415 ,  G06F40/30

Abstract: 本发明公开了一种基于混合策略的大模型领域安全增强方法，并公开了具有基于混合策略的大模型领域安全增强方法的系统，其中基于混合策略的大模型领域安全增强方法提供一种无需进行大模型训练的可以针对领域特定安全场景进行优化的安全防御策略。使用者无需具备大语言模型微调训练技术基础及数据集构建基础，无需具备大规模算力。对于上线应用后发现的安全漏洞可以及时进行封堵，同时本发明所提出的安全防御策略可以快速迁移至多个领域应用。

公开(公告)号：CN119597871A

公开(公告)日：2025-03-11

申请号：CN202411529393.5

申请日：2024-10-30

Applicant: 航天信息股份有限公司

Inventor： 聂润泽 ,  马兰 ,  刘振宇 ,  王志刚

IPC: G06F16/3329 ,  G06N5/04

Abstract: 本发明公开了一种基于大语言模型的回复增强方法及系统，属于数据处理技术领域。本发明方法，包括：接收用户问题，使用所述大语言模型对所述用户问题进行拆解，以生成所述用户问题对应的多个子问题；使用所述大语言模型的问答接口，针对多个子问题，生成多个子问题对应的预回复；对所述多个子问题对应的预回复进行拆条，得到拆条的文本片段，以所述多个子问题对应的拆条的文本片段，作为检索条件，在知识库中进行增强检索，获取检索文本；通过所述大语言模型，根据所述检索文本生成多个子问题对应的回复，基于预设的回复生成策略，根据所述多个子问题对应的回复，生成用户问题的回复。本发明有效的提升了对于问题检索的有效性。

公开(公告)号：CN119597870A

公开(公告)日：2025-03-11

申请号：CN202411520919.3

申请日：2024-10-29

Applicant: 航天信息股份有限公司

Inventor： 黄键 ,  武昊 ,  刘坤 ,  聂润泽 ,  马兰 ,  刘振宇 ,  王志刚

IPC: G06F16/3329 ,  G06F16/334 ,  G06F16/3332 ,  G06N5/04

Abstract: 本发明公开了一种基于RAG及大语言模型的信息检索方法及系统，属于智能办公技术领域。本发明方法，包括：采用长短混合粒度法及预设的拆条策略，对不同类型的文档进行解析，以得到针对所述不同类型的文档，长短两种粒度的文本片段，基于所述长短两种粒度的文本片段，构建长短混合粒度知识库；当收到用户问题时，基于大语言模型使用多轮查询重写机制，将所述用户问题调整为具体查询语句；以所述具体查询语句作为检索语句，在所述长短混合粒度知识库中，使用检索增强生成技术RAG进行检索，获取检索结果，并按照检索结果中知识的发布日期，对所述检索结果进行排序，优先展示排序靠前的检索结果。本发明的应用提升了问答检索查询的精确度。