-
公开(公告)号：CN117852616B
公开(公告)日：2024-05-31
申请号：CN202410229872.9
申请日：2024-02-29
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种基于增强拒绝采样训练的大语言模型对齐微调方法和系统，涉及人工智能技术领域，包括：基于有监督微调后的大语言模型，为预设指令请求文本生成N条响应文本；基于训练好的奖励模型对每条响应文本进行评估，得到奖励分数；将N条响应文本按照对应的奖励分数由高到低排序，并选取前k条响应文本组成目标样本集；基于预设加权函数，计算每条响应文本对应的数据权重；基于预设指令请求文本、目标样本集中的响应文本和数据权重构建加权微调数据集，并基于加权微调数据集对有监督微调后的大语言模型进行对齐微调，得到目标大语言模型。本发明缓解了现有技术存在的过拟合风险高、易受有噪奖励分数干扰的技术问题。
-
公开(公告)号：CN117852616A
公开(公告)日：2024-04-09
申请号：CN202410229872.9
申请日：2024-02-29
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种基于增强拒绝采样训练的大语言模型对齐微调方法和系统，涉及人工智能技术领域，包括：基于有监督微调后的大语言模型，为预设指令请求文本生成N条响应文本；基于训练好的奖励模型对每条响应文本进行评估，得到奖励分数；将N条响应文本按照对应的奖励分数由高到低排序，并选取前k条响应文本组成目标样本集；基于预设加权函数，计算每条响应文本对应的数据权重；基于预设指令请求文本、目标样本集中的响应文本和数据权重构建加权微调数据集，并基于加权微调数据集对有监督微调后的大语言模型进行对齐微调，得到目标大语言模型。本发明缓解了现有技术存在的过拟合风险高、易受有噪奖励分数干扰的技术问题。
-
公开(公告)号：CN119962547A
公开(公告)日：2025-05-09
申请号：CN202510035739.4
申请日：2025-01-09
Applicant: 哈尔滨工业大学
Abstract: 一种结合知识图谱、大语言模型与视觉想象力机制的多模态机器翻译训练方法，属于人工智能技术领域。为优化多模态机器翻译方法的图像生成质量，本发明包括人工设置待翻译句子，构建训练集1；应用文字处理库处理训练集1中的待翻译句子得到文字三元组，将训练集1中的待翻译句子输入图像生成模型生成图片后利用图像三元组提取模型处理得到图像三元组，应用两组三元组的距离性质对图像生成模型进行训练得到训练好的图像生成模型；将训练集1中的待翻译句子输入到训练好的图像生成模型待翻译句子对应生成图像进行编码处理，然后和对应的待翻译句子进行拼接后，构建训练集2，利用训练集2对大语言模型进行训练，优化大语言模型的多模态机器翻译性能。
-
公开(公告)号：CN119168064A
公开(公告)日：2024-12-20
申请号：CN202411225063.7
申请日：2024-09-03
Applicant: 哈尔滨工业大学
IPC: G06N5/04 , G06N3/0455 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06F18/25 , G06F18/15 , G06F18/213 , G06F18/21 , G06F16/432 , G06F16/9032 , H04N21/854
Abstract: 一种基于统一框架的中文多模态数据生成方法，涉及自然语言处理与计算机视觉技术领域。为解决现有技术中存在的，现有的多模态大模型无法在统一的框架下高效地理解和生成包括文本、图像、视频及音频在内的多种模态数据的技术问题，本发明提供的技术方案为：包括：采集多模态数据并进行预处理；进行特征提取，得到文本特征向量和多模态特征向量；将所述多模态特征向量行特征对齐，然后将对齐后的多模态特征与所述文本特征向量进行拼接，得到用户输入数据的特征嵌入表示；嵌入表示输入多模态大模型，生成多模态内容；将生成的多模态内容进行整合，并按顺序输出。适合应用于理解和生成包括文本、图像、视频及音频在内的多模态数据的工作中。
-
公开(公告)号：CN119067236A
公开(公告)日：2024-12-03
申请号：CN202411165771.6
申请日：2024-08-23
Applicant: 哈尔滨工业大学
IPC: G06N20/00 , G06F40/284
Abstract: 一种结合system prompt减少大语言模型微调对泛化能力影响的方法及系统，属于自然语言处理技术领域，解决大模型微调后的灾难性遗忘问题。方法包括：S1：根据需要解决的专业领域问题构造训练数据模板；S2：根据所述训练数据模板获得若干训练数据；S3：混合训练数据与待微调模型的开源数据，并调整训练数据与开源数据的混合比例，获得最优混合比例；S4：根据所述最优混合比例对待微调模型进行微调，得到最终的大语言模型。本发明所述的方法可以应用在对解决部分专业领域问题有所需要，同时又希望满足大模型正常问答能力的情景。
-
Patent Agency Ranking
公开(公告)号：CN117371576B
公开(公告)日：2024-11-01
申请号：CN202311171887.6
申请日：2023-09-12
Applicant: 哈尔滨工业大学
IPC: G06Q10/04 , G06Q50/18 , G06F18/22 , G06F18/23213 , G06F16/35 , G06N3/0464
Abstract: 一种专利授权率预测方法、系统、设备及存储介质，属于信息处理技术领域，解决现有专利审查过程中存在的无法全面检索并使用与专利相关的公开的现有技术从而导致预测的准确率下降的问题。所述方法包括：获取待测专利文献的摘要，对摘要文本进行向量化，得到摘要的向量；计算待测专利文献的余弦和公开专利数据集的余弦相似度；选取N篇与待测专利文献的余弦相似度最高的公开专利，并对其于待测专利文献进行训练，得到处理后文本和选取出的公开专利的向量表示；采集公开专利文献的主题；计算公开专利文献与其主题向量的距离，作为数据分布表示；通过卷积层、池化层和全连接层获得专利授权预测结果。本发明适用于专利授权率的预测场景。
-
公开(公告)号：CN114330360B
公开(公告)日：2024-08-09
申请号：CN202111469526.0
申请日：2021-12-03
Applicant: 哈尔滨工业大学
IPC: G06F40/30 , G06F40/284 , G06F40/211 , G06F16/35 , G06N3/0442 , G06N3/045 , G06N3/084 , G06N3/048
Abstract: 本发明提出一种针对特定目标的立场检测方法，使用深度网络抽取句子的语义特征，并在立场检测时充分考虑目标特征，实现目标特征与句子特征的交互，模型使用稠密连接的BiLSTM网络和嵌套的LSTM网络抽取句子的语义特征，在捕捉句子深层的语义信息的同时，能够解决梯度消失问题和长期依赖问题；使用注意力机制获取特定目标对于句子各部分的重要度，从而得到融入特定目标信息的句子向量表示，帮助模型在进行立场检测时充分考虑给定的特定目标；通过实验验证本发明已达到较优的特定目标立场检测性能。
-
公开(公告)号：CN113836261B
公开(公告)日：2024-05-31
申请号：CN202110998664.1
申请日：2021-08-27
Applicant: 哈尔滨工业大学 , 黑龙江阳光惠远信息技术有限公司
IPC: G06F16/33 , G06F16/34 , G06F40/289 , G06Q50/18
Abstract: 一种专利文本新颖性/创造性预测方法及装置，涉及自然语言处理中的文本匹配技术，目的是为了对专利申请文件的新颖性和/或创造性进行初步的预测判断。所述方法包括：利用主题模型对待预测专利文本与授权专利文本进行处理，得到各关键词的主题分布；计算各专利文本的各关键词的主题分布平均值；利用BERT模型对待预测专利文本与授权专利文本进行处理；将各专利文本的各关键词的主题分布的平均值和BERT模型的输出进行拼接，然后输入至全连接层；利用激活函数对全连接层的输出进行计算，得到待预测专利文本具备新颖性/创造性的概率。所述装置包括主题模块、主题分布平均值计算模块、BERT模块、拼接模块和概率计算模块。
-
公开(公告)号：CN113378024B
公开(公告)日：2023-09-01
申请号：CN202110566115.7
申请日：2021-05-24
Applicant: 哈尔滨工业大学
IPC: G06F16/951 , G06F16/9536 , G06F16/33 , G06F16/35 , G06F40/289 , G06F40/30 , G06F18/241 , G06N3/0464 , G06N3/048 , G06N3/08 , G06Q50/00
Abstract: 本发明公开一种基于深度学习面向公检法领域的相关事件识别方法。步骤1：采集网络上各种热点信息标题，进行非中文、非英文、非数字字符的清理并存储在数据库中；步骤2：对步骤1数据库中的热点信息标题采用文本分类技术及深度学习进行识别是否与公检法领域相关；步骤3：对步骤1数据库中的热点信息标题做出相应标识并存储。本发明用以解决舆情量过大导致耗费人力物力、系统性能较差的问题。
-
-
-
-
-
-
-
-
-
Search Results
132
records
(took 0.03 seconds)
