公开(公告)号：CN117493481A

公开(公告)日：2024-02-02

申请号：CN202311310422.4

申请日：2023-10-11

Applicant: 哈尔滨工业大学 ,  无锡睿文科技有限公司

Inventor： 杨沐昀 ,  侯平月 ,  郭继鹏 ,  徐冰 ,  孟祥君 ,  曹海龙 ,  朱聪慧 ,  孙世琦 ,  赵铁军 ,  单丹丹 ,  刘悦

IPC: G06F16/33 ,  G06F16/332 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/08

Abstract: 一种基于自注意力机制的后交互专利检索方法及装置，涉及专利信息检索技术领域，方法包括：获取查询文本和待检索专利文本并进行预处理；将经过预处理的所述查询文本和待检索专利文本输入BERT编码器，得到查询向量和待检索专利向量，其中，所述BERT编码器为BERT模型基于专利语料预训练得到；将所述查询向量和待检索专利向量进行拼接，并输入多头自注意力模型，得到各个所述待检索专利文本对应的自注意力结果；将所述自注意力结果拼接后输入多层感知机，得到各个所述待检索专利文本的相似度评分并排序；该方法及装置将多头自注意力机制用于查询和文档的后交互，在专利检索平均准确率以及归一化折损累计增益指标上均有较大提升。

公开(公告)号：CN117610584A

公开(公告)日：2024-02-27

申请号：CN202311726909.0

申请日：2023-12-15

Applicant: 哈尔滨工业大学 ,  无锡睿文科技有限公司

Inventor： 杨沐昀 ,  宋福海 ,  解冉 ,  朱聪慧 ,  徐冰 ,  曹海龙 ,  赵铁军 ,  孟祥君 ,  温强 ,  宋希程 ,  白金龙

IPC: G06F40/51 ,  G06F18/25 ,  G06F40/186

Abstract: 一种基于大语言模型的翻译质量评估评分融合方法及装置，涉及人工智能技术领域。为解决现有技术中存在的，基于大语言模型的翻译质量评估评分融合效果不理想的问题，本发明提供的技术方案为：一种基于大语言模型的翻译质量评估评分融合方法，包括：获取需要进行融合的评分的步骤；选取最大的预设个评分与最小的预设个评分作为融合使用的步骤；将所述融合使用的评分代入到预设提示模板中的步骤；将加入评分的所述预设提示模板送入预设模型，获得答案的步骤。定义需要进行融合的评分个数为n，最大的评分有和最小的评分分别有n/4个。在所述n/4不整除时，商向上取整。适合应用于大语言模型的翻译质量评估工作中。

公开(公告)号：CN120067241A

公开(公告)日：2025-05-30

申请号：CN202510107858.6

申请日：2025-01-23

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  朱聪慧 ,  乔泓灏 ,  曹海龙 ,  杨沐昀 ,  徐冰

IPC: G06F16/332 ,  G06F16/3329 ,  G06F16/355 ,  G06F16/36 ,  G06N3/045 ,  G06N3/084 ,  G06N3/09 ,  G06N5/04

Abstract: 本发明公开了一种基于样例反馈的大语言模型自动提示优化方法，属于大语言模型提示优化技术领域。解决了现有技术中传统的提示优化方法难以实现自动化调优的问题；本发明构建基于大语言模型的提示优化模块，输入预处理后的输入数据，对其进行基于样例反馈的提示优化，得到修改后的提示；构建基于大语言模型的提示精简模块，对修改后的提示中的超长提示进行精简和改写，得到更新后的提示，传输至提示优化模块进行迭代，得到优化后的提示；构建基于大语言模型的局部搜索模块，对优化后的提示进行局部搜索与调优，得到最优提示。本发明有效提升了针对提示优化的大语言模型的性能，可以应用于采用大语言模型进行自动提示优化。

公开(公告)号：CN115034216B

公开(公告)日：2025-05-13

申请号：CN202210606979.1

申请日：2022-05-31

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  郭常江 ,  朱聪慧 ,  杨沐昀 ,  曹海龙 ,  徐冰

IPC: G06F40/289 ,  G06F40/284 ,  G06F40/205 ,  G06F16/953 ,  G06F18/22 ,  G06F18/213 ,  G06F18/24 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明提出了一种基于图模型和词嵌入模型面向新闻领域的关键词抽取方法，本发明首先需要将新闻文本进行清洗，去除其中无用信息；然后通过文本处理模块，得到新闻文本中的潜在关键词和词频信息；之后采用图模型和预训练的词嵌入模型对关键词进行语义空间映射，最后融合前述两个模型对关键词的排序分布获得最后关键的分布，从而获得新闻文本关键词；本发明能够改进新闻文本关键词提取的精度，进一步提高舆情分析系统在针对新闻文本分析时内容检索的准确性，更为全面地覆盖新闻文本的主要信息，节省人工复核的时间。

公开(公告)号：CN117993396B

公开(公告)日：2024-11-12

申请号：CN202410091557.4

申请日：2024-01-23

Applicant: 哈尔滨工业大学

Inventor： 杨沐昀 ,  卢昊 ,  朱聪慧 ,  徐冰 ,  曹海龙 ,  赵铁军

IPC: G06F40/58 ,  G06F40/284 ,  G06F40/289 ,  G06F18/22

Abstract: 本发明是一种基于RAG的大模型机器翻译方法。本发明涉及大语言模型翻译技术领域，本发明对原始语言序列分词处理，对语言序列嵌入表示转化，基于同语言建立翻译资料库；基于翻译需求，对原始语言进行拆分，进行原文嵌入表示获取；基于原文嵌入表示与翻译资料库，进行相似度计算；根据相似度计算获取和需求接近的翻译示例，结合翻译示例和大模型，生成贴合需求的译文。发明采用的prompt构造方式相比于普通的prompt以及随意使用示例的prompt能够更好的帮助大语言模型生成符合需求的译文，在特定领域翻译和翻译风格化上有着很好的效果。

公开(公告)号：CN114970503B

公开(公告)日：2024-10-29

申请号：CN202210598799.3

申请日：2022-05-30

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  王晨懿 ,  徐冰 ,  杨沐昀 ,  朱聪慧 ,  曹海龙

IPC: G06F40/232 ,  G06F40/30 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/09 ,  G06F18/2415

Abstract: 本发明提出一种基于预训练的字音字形知识增强的中文拼写纠正方法。属于自然语言处理技术领域。本发明的目的是为了改进中文拼写纠正技术的准确性，更好地解决字音或字形混淆导致的拼写错误，节省人工复核的时间。本发明首先从数据库中取出待纠错文本对应的拼音和仓颉码序列，然后将文本和拼音、仓颉码序列一同输入模型中。模型会整合文本的上下文语义信息和字音字形知识，给出拼写纠正建议。本发明还采用了特定的mask策略和预训练任务，在大规模中文语料上预训练得到更适用于中文拼写纠正技术的预训练语言模型。本发明可用于各种文本纠错场景，提高了校验文章的效率。

公开(公告)号：CN118747497A

公开(公告)日：2024-10-08

申请号：CN202410884233.6

申请日：2024-07-03

Applicant: 哈尔滨工业大学

Inventor： 徐冰 ,  刘欣鹏 ,  杨沐昀 ,  朱聪慧 ,  曹海龙 ,  赵铁军

IPC: G06F40/205 ,  G06F40/279 ,  G06F40/284 ,  G06F18/22 ,  G06F40/194 ,  G06N5/02 ,  G06N5/04

Abstract: 基于任务链的大模型语病纠错方法、设备和存储介质，属于语言信息处理技术领域，解决基于大语言模型的语病纠错正确性低问题。本发明方法包括：在输出中找出与输入原句子对应的信息类型，信息类型包括语病范围、语病类型和纠错方式三种类型；对不同粒度的语病范围进行标注，针对每种语病类型，计算自动标注的语病范围与人工标注的语病范围之间的相似性分数，选择相似性分数最高的标注粒度作为最终的语病范围标注结果；将训练集中的所有样本随机排序，按照样本的顺序，将每个样本的三条指令数据加入到训练队列中，依次使用每条指令数据对大语言模型进行指令微调；利用指令微调后的大语言模型进行语病纠错。本发明适用于基于大语言模型的语病纠错。

公开(公告)号：CN117556251A

公开(公告)日：2024-02-13

申请号：CN202311332989.1

申请日：2023-10-16

Applicant: 哈尔滨工业大学

Inventor： 杨沐昀 ,  黄辉 ,  卢昊 ,  朱聪慧 ,  徐冰 ,  曹海龙 ,  赵铁军

IPC: G06F18/214 ,  G06F18/241

Abstract: 一种基于LoRA嵌入的指令数据挖掘方法和系统，涉及指令数据挖掘领域。解决了常见的通过模型生成的指令数据往往重复性较高，类似的指令数据反复出现，数据集同质化和冗余的情况较为普遍的问题。所述方法包括：采用LoRA的方式对ShareGPT数据集进行训练，获取所述ShareGPT数据集中指令数据的嵌入表示；通过UMAP算法对所述嵌入表示进行降维，获取每个指令在三维空间中的表示；根据最小化指令数据在三维空间中的密度对每个指令表示进行筛选，获取多样性增强的数据子集。本发明应用于人工神经网络训练领域。

公开(公告)号：CN116681080A

公开(公告)日：2023-09-01

申请号：CN202310544489.8

申请日：2023-05-16

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  徐冰 ,  朱聪慧 ,  曹海龙 ,  杨沐昀 ,  姜海龙

IPC: G06F40/30 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明提出一种基于语义特征的中文儿童故事生成方法。所述方法包括构建中文儿童故事数据集；将儿童故事作为训练数据，通过所设计的引入句子级语义特征的方法对模型进行训练，提升模型生成的连贯性；将关键词或者儿童故事开头输入模型；模型通过自编码迭代生成预先设定长度的中文儿童故事。本发明可以在给定关键词或故事开头的情况下，自动生成完整的儿童故事，无需人工处理。本发明可以用于创作儿童故事。

公开(公告)号：CN116681061A

公开(公告)日：2023-09-01

申请号：CN202310630375.5

申请日：2023-05-31

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  朱聪慧 ,  曹海龙 ,  刘梓航 ,  徐冰 ,  杨沐昀

IPC: G06F40/232 ,  G06F40/30 ,  G06F16/35

Abstract: 一种基于多任务学习和注意力机制的英文语法纠正技术，它涉及一种英文语法纠正技术。本发明为了解决现有英文语法纠正技术适应能力较差，对一些复杂语句的语法纠正不准确的问题。本发明的步骤为：对于输入的句子，从数据库中读取英文分词词表及编辑标签词表；将句子输入预训练编码模型，获取整个句子的上下文表示；将得到的上下文特征向量经过自注意力层；判别输入子词是否需要进行编辑操作，使用词表大小的分类器对输入的子词进行编辑标签分类；根据模型预测的纠正标签对应的意义对输入句子中的单词进行后处理，得到的后处理结果再输入模型进行多次迭代得到最终结果。本发明属于自然语言处理技术领域。