一种结合知识图谱、大语言模型与视觉想象力机制的多模态机器翻译训练方法

    公开(公告)号:CN119962547A

    公开(公告)日:2025-05-09

    申请号:CN202510035739.4

    申请日:2025-01-09

    Abstract: 一种结合知识图谱、大语言模型与视觉想象力机制的多模态机器翻译训练方法,属于人工智能技术领域。为优化多模态机器翻译方法的图像生成质量,本发明包括人工设置待翻译句子,构建训练集1;应用文字处理库处理训练集1中的待翻译句子得到文字三元组,将训练集1中的待翻译句子输入图像生成模型生成图片后利用图像三元组提取模型处理得到图像三元组,应用两组三元组的距离性质对图像生成模型进行训练得到训练好的图像生成模型;将训练集1中的待翻译句子输入到训练好的图像生成模型待翻译句子对应生成图像进行编码处理,然后和对应的待翻译句子进行拼接后,构建训练集2,利用训练集2对大语言模型进行训练,优化大语言模型的多模态机器翻译性能。

    一种结合system prompt减少大语言模型微调对泛化能力影响的方法及系统

    公开(公告)号:CN119067236A

    公开(公告)日:2024-12-03

    申请号:CN202411165771.6

    申请日:2024-08-23

    Abstract: 一种结合system prompt减少大语言模型微调对泛化能力影响的方法及系统,属于自然语言处理技术领域,解决大模型微调后的灾难性遗忘问题。方法包括:S1:根据需要解决的专业领域问题构造训练数据模板;S2:根据所述训练数据模板获得若干训练数据;S3:混合训练数据与待微调模型的开源数据,并调整训练数据与开源数据的混合比例,获得最优混合比例;S4:根据所述最优混合比例对待微调模型进行微调,得到最终的大语言模型。本发明所述的方法可以应用在对解决部分专业领域问题有所需要,同时又希望满足大模型正常问答能力的情景。

    一种专利授权率预测方法、系统、设备及存储介质

    公开(公告)号:CN117371576B

    公开(公告)日:2024-11-01

    申请号:CN202311171887.6

    申请日:2023-09-12

    Abstract: 一种专利授权率预测方法、系统、设备及存储介质,属于信息处理技术领域,解决现有专利审查过程中存在的无法全面检索并使用与专利相关的公开的现有技术从而导致预测的准确率下降的问题。所述方法包括:获取待测专利文献的摘要,对摘要文本进行向量化,得到摘要的向量;计算待测专利文献的余弦和公开专利数据集的余弦相似度;选取N篇与待测专利文献的余弦相似度最高的公开专利,并对其于待测专利文献进行训练,得到处理后文本和选取出的公开专利的向量表示;采集公开专利文献的主题;计算公开专利文献与其主题向量的距离,作为数据分布表示;通过卷积层、池化层和全连接层获得专利授权预测结果。本发明适用于专利授权率的预测场景。

    一种针对特定目标的立场检测方法

    公开(公告)号:CN114330360B

    公开(公告)日:2024-08-09

    申请号:CN202111469526.0

    申请日:2021-12-03

    Abstract: 本发明提出一种针对特定目标的立场检测方法,使用深度网络抽取句子的语义特征,并在立场检测时充分考虑目标特征,实现目标特征与句子特征的交互,模型使用稠密连接的BiLSTM网络和嵌套的LSTM网络抽取句子的语义特征,在捕捉句子深层的语义信息的同时,能够解决梯度消失问题和长期依赖问题;使用注意力机制获取特定目标对于句子各部分的重要度,从而得到融入特定目标信息的句子向量表示,帮助模型在进行立场检测时充分考虑给定的特定目标;通过实验验证本发明已达到较优的特定目标立场检测性能。

    一种专利文本新颖性和创造性预测方法及装置

    公开(公告)号:CN113836261B

    公开(公告)日:2024-05-31

    申请号:CN202110998664.1

    申请日:2021-08-27

    Abstract: 一种专利文本新颖性/创造性预测方法及装置,涉及自然语言处理中的文本匹配技术,目的是为了对专利申请文件的新颖性和/或创造性进行初步的预测判断。所述方法包括:利用主题模型对待预测专利文本与授权专利文本进行处理,得到各关键词的主题分布;计算各专利文本的各关键词的主题分布平均值;利用BERT模型对待预测专利文本与授权专利文本进行处理;将各专利文本的各关键词的主题分布的平均值和BERT模型的输出进行拼接,然后输入至全连接层;利用激活函数对全连接层的输出进行计算,得到待预测专利文本具备新颖性/创造性的概率。所述装置包括主题模块、主题分布平均值计算模块、BERT模块、拼接模块和概率计算模块。

    利用不同词嵌入模型进行协同训练的无监督双语翻译词典获取方法

    公开(公告)号:CN113343719B

    公开(公告)日:2023-03-14

    申请号:CN202110688705.7

    申请日:2021-06-21

    Abstract: 本发明公开了一种利用不同词嵌入模型进行协同训练的无监督双语翻译词典获取方法,包括:使用至少两种不同词嵌入模型在源语言和目标语言的单语语料上分别进行训练获得多组不同模型的词嵌入;按照词嵌入训练模型进行分组,并分别进行初始化得到对应初始词典;分别利用当前各模型相对应的词嵌入以及双语翻译词典进行自学习,以更新各个词嵌入分别利用更新后的词嵌入获取当前各自对应的双语翻译词典,并通过协同训练优化过滤提升各个双语翻译词典的置信度;重复第三、第四步直至训练结果收敛,并分别得到各个进程上的最终双语翻译词典。该方法解决了小语种语料资源匮乏的问题,提升了基于无监督学习的单语语料上获取双语翻译词典的无监督方法的效果。

    一种面向出行领域的人机多轮对话方法

    公开(公告)号:CN109063035B

    公开(公告)日:2021-11-09

    申请号:CN201810779805.9

    申请日:2018-07-16

    Abstract: 一种面向出行领域的人机多轮对话方法,它用于信息技术领域。本发明解决了目前的多轮对话系统对用户问句的意图信息和槽位信息提取存在困难的问题。本发明对短文本问句进行规范化处理,并利用DAN、CNN或BLSTM模型提取规范化处理后的短文本问句的意图信息,且基于BLSTM的模型取得了Micro‑F1值为93.47%的理想效果;利用引入意图特征词的BLSTM‑CRF模型提取规范化处理后的短文本问句的槽位信息,且模型取得了F1值为89.47%的理想效果;将历史的槽位信息和当前问句的槽位信息作为输入,确定当前的对话状态信息,并结合当前问句的意图信息确定下一步的回复策略;根据确定的回复策略选择对应的模板回复给用户。本发明可以应用于信息技术领域用。

Patent Agency Ranking