一种基于逐层解冻递进式训练模型的文本分类方法

    公开(公告)号:CN120086369A

    公开(公告)日:2025-06-03

    申请号:CN202510042178.0

    申请日:2025-01-10

    Abstract: 本发明公开了一种基于逐层解冻递进式训练模型的文本分类方法,涉及文本分类技术领域,方法包括:获取待分类的新闻文本数据,将所述待分类的新闻文本数据输入至逐层解冻递进式训练模型中,得到分类结果;所述逐层解冻递进式训练模型包括通过顺序递进微调策略和/或组合递进微调策略进行训练;所述逐层解冻递进式训练模型包括嵌入层、注意力层、前馈层、隐藏层以及密集层。本方案通过至少一种训练策略,即顺序递进微调策略和/或组合递进微调策略进行模型的训练能够挖掘模型本身的潜力,进而达到训练处效果最优的模型的目的,基于此,可以实现对于待分类的新闻文本数据的精准分类处理。

    一种文本向量表示方法、装置、电子设备及存储介质

    公开(公告)号:CN119849436A

    公开(公告)日:2025-04-18

    申请号:CN202411912226.9

    申请日:2024-12-24

    Abstract: 本发明涉及一种文本向量表示方法、装置、电子设备及存储介质,该方法包括:获取待表示文本,所述待表示文本中包括多个文本片段;确定每个所述文本片段的静态嵌入向量以及位置向量;根据所有文本片段的静态嵌入向量和位置向量,确定各个所述文本片段之间的关联关系;根据所有文本片段的静态嵌入向量、位置向量和关联关系,确定所述待表示文本的文本向量。通过本发明的方法,不但保留了文本片段本身所表征的文本特征,还结合了文本片段之间的关联关系,可更加准确的对待表示文本进行准确的文本向量表示。

    一种结合功能函数和槽填充的大模型问答优化系统及方法

    公开(公告)号:CN119557410A

    公开(公告)日:2025-03-04

    申请号:CN202510122166.9

    申请日:2025-01-26

    Abstract: 本发明公开了一种结合功能函数和槽填充的大模型问答优化系统及方法,本发明通过槽位填充识别并填充查询中关键信息(如时间、地点、人物等)结合查询意图调用相应的功能函数或执行特定逻辑以完成任务,有效地解决现有大语言模型应用场景中经常出现的固执坚持己见、针对同一问题的多次提问反复做出同样的错误回答而无法理解用户意图的问题,使得大模型在处理用户提问时可以更准确地理解用户提问的意图,并更专业的调用功能函数回答用户的问题,可以在多轮问答中保持连贯性和一致性,提供更加流畅的用户体验,优化了整体的问答效果。

    一种基于早停判断和多头解码的问答处理方法

    公开(公告)号:CN119903920A

    公开(公告)日:2025-04-29

    申请号:CN202411985989.6

    申请日:2024-12-31

    Abstract: 本发明公开了一种基于早停判断和多头解码的问答处理方法,涉及大模型问答处理技术领域,方法包括:获取用户在人机交互平台上输入的问题数据,将所述问题数据输入至预设大模型中进行处理,得到所述问题数据对应的答案数据;所述预设大模型包含hidden层、self‑att层以及FeedFroward层,通过设定早停判断机制以及多头解码机制进行训练。本方案通过早停判断机制以及多头解码机制,优化解码以及推理阶段,减少计算量,提高训练效率,通过上述方式可以提升预设大模型的训练效率,同时能够因减少计算量而导致预设大模型的训练精度更高,得到更贴近用户的问题数据的答案数据。

    一种文本向量表示方法、装置、电子设备及存储介质

    公开(公告)号:CN119849441A

    公开(公告)日:2025-04-18

    申请号:CN202510045420.X

    申请日:2025-01-13

    Abstract: 本发明涉及一种文本向量表示方法、装置、电子设备及存储介质,该方法包括:获取待表示文本,并确定所述待表示文本对应的特征图;确定预设的滑动窗口在所述特征图上滑动时对应的多个窗口特征图;对于每个所述窗口特征图,对该窗口特征图进行混合池化操作,得到该窗口特征图对应的目标特征,直到得到所有窗口特征图对应的目标特征。通过本发明的方法,通过混合池化操作可综合局部特征捕捉的能力以及保留信息完整性方面的优势,从而可准确通过目标特征表达每个窗口特征图的特征,进而可提升待表示文本的向量表示的质量。

    一种基于大模型的输入提示优化方法、系统、设备及介质

    公开(公告)号:CN119762874A

    公开(公告)日:2025-04-04

    申请号:CN202411923656.0

    申请日:2024-12-25

    Abstract: 本发明公开了一种基于大模型的输入提示优化方法、系统、设备及介质,涉及大模型优化训练技术领域,方法包括:获取训练预设大模型的原始输入提示集,并基于预训练模型对所述原始输入提示集进行处理得到优化后的原始输入提示集;所述预设大模型用于对待识别的机械图片进行处理得到所述待识别的机械图片对应的机械类型以及标识信息。本发明通过对原始输入提示集进行优化处理可以提升后续任一大模型的训练的精确度,此外,本方案通过预训练模型对原始输入提示集进行统一处理也能够提升处理效率。另外,预训练模型可以有针对性的为了优化出满足后续需求的输出结果,基于此可以灵活的调整对于预训练模型的训练方式或精度,使得本方案更具灵活性。

Patent Agency Ranking