公开(公告)号：CN117291174A

公开(公告)日：2023-12-26

申请号：CN202311149657.X

申请日：2023-09-07

Applicant: 哈尔滨工业大学

Inventor： 杨沐昀 ,  黄壤 ,  朱聪慧 ,  徐冰 ,  曹海龙 ,  赵铁军

IPC: G06F40/216 ,  G06F40/289 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 一种基于自定义掩码对象的预训练语言模型优化方法、设备及存储介质，属于自然语言技术领域。解决了预训练语言模型在领域任务中的应用存在一定的领域不适配性、由于领域文本的识别问题使得预训练语言模型在训练时未能学习到足够领域知识而导致领域任务表现不佳的问题。所述方法包括：采集输入文本，采用所述分词工具对所述输入文本进行处理，得到处理后的输入文本；将所述处理后的输入文本采用编码器获得每个位置的字的上下文表示；基于所述上下文表示，采用分类器获得处理后的输入文本的损失函数，并依据所述损失函数进行梯度回传和参数更新，完成对模型的优化。本发明适用于处理专利文献识别处理领域预训练模型的领域化问题。

公开(公告)号：CN114818658A

公开(公告)日：2022-07-29

申请号：CN202210617790.2

申请日：2022-06-01

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  陈科海 ,  徐旺 ,  曹海龙 ,  朱聪慧 ,  徐冰 ,  杨沐昀

IPC: G06F40/211 ,  G06F40/295 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出一种基于图神经网络和推理路径的文档级关系抽取方法。本发明为了解决在文档级关系抽取中常用的图模型方法只能关注实体局部特征的特点，不能很好的表示两个实体之间全局特征的问题。本发明的具体的步骤为：步骤一、基于启发式的规则将一篇输入的文档转化为图结构；步骤二、利用路径搜索算法在构造图结构中提取出不同实体对之间的多条路径；步骤三、利用神经网络编码器对输入文档编码，并得到图中节点的向量表示，利用图神经网络更新图中节点的向量表示；步骤四、得到图结构中实体对之间的路径信息向量表示；步骤五、对实体对之间的关系进行判断，使用标注好的数据训练深度学习模型。本发明属于自然语言处理领域。

公开(公告)号：CN113360606A

公开(公告)日：2021-09-07

申请号：CN202110706335.5

申请日：2021-06-24

Applicant: 哈尔滨工业大学

Inventor： 朱聪慧 ,  庄斐卿 ,  曹海龙 ,  赵铁军 ,  杨沐昀 ,  徐冰

IPC: G06F16/33 ,  G06F16/332 ,  G06F16/36 ,  G06F40/216 ,  G06F40/295 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出一种基于Filter的知识图谱问答联合训练方法，该方法通过利用问句作为输入将主实体识别和关系预测两个子任务使用预训练语言模型BERT进行联合学习；将模型进行联合学习后的结果输入到过滤器中，得到适用于不同子任务的词向量表示；利用主实体识别、实体链接和关系预测的词向量表示从问句中识别出主实体，并在知识图谱中找到主实体的三元组，预测关系谓词；通过主实体词和关系谓词从知识图谱中找到答案步骤实现。本发明能够解决知识图谱问答进行联合训练时各个任务会因为彼此的特征冲突导致的学习到的模型会忽略部分任务相关的特征的问题，并通过两类过滤器来确保学习到的模型既能利用任务的关联性，又能注意到任务的差异性。

公开(公告)号：CN113312452A

公开(公告)日：2021-08-27

申请号：CN202110667388.0

申请日：2021-06-16

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  夏名宏 ,  朱聪慧 ,  徐冰 ,  杨沐昀 ,  曹海龙

IPC: G06F16/33 ,  G06F16/35 ,  G06F40/211 ,  G06F40/289 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出基于多任务学习的篇章级文本连贯性分类方法，所述方法包括：步骤1、使用预训练模型得到篇章级文本中每一句话的句子向量表示；步骤2、将句子向量作为输入，使用Transformer模型，得到篇章级文本的整体向量表示；步骤3、构建句子排序任务，使用该任务对篇章级文本的整体向量表示进行调整；步骤4、根据调整后的篇章级文本整体向量表示通过分类器得到文本连贯性分类。通过上述方法解决了现有技术中的问题，所述方法对信息检索以及自然语言处理中的多任务学习、作文自动评分、文档向量化等方向有着重要作用。

公开(公告)号：CN113297841A

公开(公告)日：2021-08-24

申请号：CN202110566113.8

申请日：2021-05-24

Applicant: 哈尔滨工业大学

Inventor： 朱聪慧 ,  赵铁军 ,  刘哲宁 ,  曹海龙 ,  杨沐昀 ,  徐冰

IPC: G06F40/216 ,  G06F40/284 ,  G06F40/58 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于预训练双语词向量的神经机器翻译方法，将标注对齐的平行语料进行“源语言‑目标语言”拼接作为XLM模型的输入进行预训练；训练：取预训练得到的双语词向量矩阵初始化翻译模型；将源语言输入编码器，将源语言编码的向量表示及对应目标语言输入解码器输出预测序列，将其与相应的目标序列进行对比并计算损失值，输入优化器对翻译模型参数进行优化；预测：在某个时间步里，将源语言输入优化的编码器，编码器输出相应向量表示，将该向量表示以及上一时间步翻译的目标语言词输入解码器，解码器输出该时间步的目标词，将不同时间步翻译的目标词按时间顺序进行拼接，得到源语言翻译的结果。该方法提高了低资源语种的机器翻译效果。

公开(公告)号：CN111897944A

公开(公告)日：2020-11-06

申请号：CN202010827800.6

申请日：2020-08-17

Applicant: 哈尔滨工业大学

Inventor： 朱聪慧 ,  徐冰 ,  杨沐昀 ,  曹海龙 ,  赵铁军

IPC: G06F16/332 ,  G06F40/30 ,  G06F40/295 ,  G06F40/216 ,  G06F16/36 ,  G06F16/28

Abstract: 基于语义空间共享的知识图谱问答系统，它属于中文知识图谱问答技术领域。本发明解决了现有知识图谱问答系统中各模块之间信息共享不足，导致获得的答案实体的准确率有限的问题。本发明利用问句主实体识别子模块，实体链接子模块和关系预测子模块的训练数据来联合训练BERT预训练语言模型，通过将联合训练好的模型嵌入各子模块，以实现语义空间的信息共享。通过本发明方法可以确保问句主实体识别子模块能够且只能从自然语言问句中识别出一个主实体，通过各子模块之间的语义信息共享，可以有效提高获得的答案实体的准确率。通过实验证明，采用本发明方法获得的答案实体的准确率可以达到86.64％。本发明可以应用于知识图谱问答。

公开(公告)号：CN107357789B

公开(公告)日：2020-10-02

申请号：CN201710575907.4

申请日：2017-07-14

Applicant: 哈尔滨工业大学

Inventor： 朱聪慧 ,  曹海龙 ,  赵铁军 ,  刘笛 ,  杨沐昀 ,  郑德权 ,  徐冰

IPC: G06F40/58 ,  G06F40/289 ,  G06F40/247

Abstract: 融合多语编码信息的神经机器翻译方法，本发明涉及神经机器翻译方法。本发明的目的是为了解决现有技术翻译准确率低的问题。过程为：一，得到每种语言各自对应的子字符号序列，建立dic_s1，dic_s2和dic_t；二、将词向量输入NMT模型训练，根据初值训练更新词向量，直至NMT模型的bleu值提升1‑3个点；三、得到ctx_s1和ctx_s2；四、得到融合结果；五、得到C；六、将t+1时刻qt+1按公式计算得到目标语言序列第t+1时刻的单词y′t+1的概率分布pt+1，根据pt+1采样出t+1时刻的目标单词y′t+1，直至解码出句子结束标记，解码翻译结束。本发明用于机器翻译领域。

公开(公告)号：CN110472253A

公开(公告)日：2019-11-19

申请号：CN201910754140.0

申请日：2019-08-15

Applicant: 哈尔滨工业大学

Inventor： 杨沐昀 ,  吴焕钦 ,  赵铁军 ,  王佳麒 ,  朱聪慧 ,  曹海龙 ,  徐冰

IPC: G06F17/28

Abstract: 本发明公开了一种基于混合粒度的句子级机器翻译质量估计模型训练方法，所述训练方法包括以下步骤：步骤一：对机器译文进行词语级翻译质量标注；步骤二：对源文和机器译文进行基于深度学习方法的翻译质量特征抽取；步骤三：进行混合粒度的句子级翻译质量估计模型的训练，通过训练目标计算误差，再通过梯度反向传播更新模型的参数。本发明提出了一种基于混合粒度的句子级机器翻译质量估计模型训练方法，该方法相对于传统方法的优势主要在于：经过基于混合粒度的模型训练之后，与单一粒度下的训练相比，引入词语级上的翻译质量信息能取得较好的提升。

公开(公告)号：CN107329960A

公开(公告)日：2017-11-07

申请号：CN201710514935.5

申请日：2017-06-29

Applicant: 哈尔滨工业大学

Inventor： 杨沐昀 ,  朱聪慧 ,  赵铁军 ,  张红阳 ,  徐冰 ,  曹海龙 ,  郑德权

IPC: G06F17/28 ,  G06F17/27

Abstract: 本发明提出了一种上下文敏感的神经网络机器翻译中未登录词翻译装置和方法，属于词语翻译设备和方法技术领域。本发明提出的未登录词翻译装置通过查找模块、候选词提供模块、特征抽取模块、评价模块、排序模块和替换模块实现神经网络翻译工作，本发明提出的未登录词翻译装置解决了现有翻译装置和方法翻译准确度低的问题，并有效提高了神经网络翻译中未登录词翻译的准确度，同时，其适用于各种神经网络翻译领域。

公开(公告)号：CN106844741A

公开(公告)日：2017-06-13

申请号：CN201710077735.8

申请日：2017-02-13

Applicant: 哈尔滨工业大学

Inventor： 郑德权 ,  杨沐昀 ,  朱聪慧 ,  俞可 ,  李依尘 ,  赵铁军 ,  徐冰 ,  曹海龙

IPC: G06F17/30 ,  G06F17/27

Abstract: 一种面向特定领域的问题解答方法，本发明涉及面向特定领域的问题解答方法。本发明的目的是为了解决现有技术对人名、地名、机构名等实体识别较为准确，对特定领域的专有名称识别不准的问题。具体过程为：一、构建特定领域词表，利用词表对输入问题进行分词；二、对分词后的输入问题进行问题分析，识别问题类型及问题成分；三、对问题成分进行语义及字符串层面的扩展，得到答案候选词；四、在知识库中进行答案候选词‑属性检索，得到答案候选段落；五、从答案候选段落筛选候选答案句。本发明用于特定领域的问题解答领域。