公开(公告)号：CN118277548A

公开(公告)日：2024-07-02

申请号：CN202311792987.0

申请日：2023-12-25

Applicant: 东北大学

Inventor： 管伟鸿 ,  冯时 ,  张景晴 ,  王大玲 ,  张一飞

IPC: G06F16/34 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明提供一种基于对比学习的面向特定角色的对话摘要方法，涉及面向特定角色的对话摘要技术领域。该方法首先获取对话摘要数据集并进行预处理；然后构建面向特定角色的对话摘要模型，生成不同角色的摘要；再构建互动感知的对比学习任务辅助对话摘要模型编码对话；并采用多任务学习的方式，将互动感知任务作为辅助任务和对话摘要任务一起训练，训练对话摘要模型；最后测试对话摘要模型效果。该方法克服了现有的对话摘要方法无法充分捕获不同角色之间互动的问题，利用一个角色间互动感知的对比学习目标辅助对话摘要模型的编码器理解不同角色之间的交互模式，帮助对话摘要模型生成更加准确和简洁的摘要。

公开(公告)号：CN116842150A

公开(公告)日：2023-10-03

申请号：CN202310628301.8

申请日：2023-05-31

Applicant: 东北大学

Inventor： 杨振飞 ,  冯时 ,  于北溟 ,  王大玲 ,  张一飞 ,  张天宝

IPC: G06F16/332 ,  G06F40/30 ,  G06F40/284 ,  G06F40/216 ,  G06F40/58 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/084

Abstract: 本发明提供一种基于对比学习的变分自编码器回复生成方法，涉及多轮对话生成技术领域。该方法在后验分布计算过程中引入了注意力机制，利用回复语句特征去对多轮对话的历史特征进行查询，选择和回复相关度较高的语句来进行后验分布的建模，来增强后验分布建模整个对话的能力，避免潜变量的退化。给定一个训练样本，通过数据增强构造与真实回复语义匹配度较高的正样本，通过随机采样构造匹配度低的负样本。利用对比学习规范潜变量空间，拉进变分自编码器的潜变量和多个正样本特征向量之间的距离，进而缓解数据集中缺少多样性回复数据的问题。

公开(公告)号：CN113190681B

公开(公告)日：2023-07-25

申请号：CN202110656931.7

申请日：2021-06-11

Applicant: 东北大学

Inventor： 张志庆 ,  冯时 ,  张一飞 ,  王大玲

IPC: G06F16/35 ,  G06F18/2411 ,  G06F18/22 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于胶囊网络遮罩记忆注意力的细粒度文本分类方法，本方法是根据用户对事物或事物的某一方面发表的主观性评论文本以及该事物或该事物某一方面的关键词或关键短语，对该主观性文本在这个事物或这个事物的某一方面上的情感倾向进行分类的一种方法。本发明所提出一种基于胶囊网络遮罩记忆注意力的细粒度文本分类方法，能够达到提升模型建模复杂文本能力和提高模型对不同复杂度任务的适应能力的目的。

公开(公告)号：CN113254429B

公开(公告)日：2023-07-21

申请号：CN202110525465.9

申请日：2021-05-13

Applicant: 东北大学

Inventor： 沈铁麟 ,  王大玲 ,  冯时 ,  张一飞

IPC: G06F16/215 ,  G06F16/28 ,  G06F40/211 ,  G06F40/30 ,  G06F16/35 ,  G06F16/36 ,  G06N3/0455

Abstract: 本发明公开了一种用于远程监督关系抽取的基于BERT和MLM的降噪方法，涉及远程监督关系抽取技术领域。将实体对定义为源实体和目标实体；从各类别对应的目标实体中筛选出单子词实体，并根据其对应的句子不是噪声句子的可能性对这些句子排序并构成句子集；从各句子集选取正负样本为各类别建立数据集；基于数据集中句子的实体在BERT模型最后一层编码器输出的隐藏状态，提取句子的MASK‑lhs特征；利用全连接层捕获噪声句子与非噪声句子的MASK‑lhs特征差异来训练二分类器，将训练好的二分类器作为各类别的专用降噪器；将训练集中的所有句子按类别送入对应的降噪器，找出并剔除噪声句子。降噪器是即插即用的，具有实用性。

公开(公告)号：CN107679960B

公开(公告)日：2020-06-09

申请号：CN201710947454.3

申请日：2017-10-12

Applicant: 东北大学

Inventor： 王大玲 ,  沙丹丹 ,  冯时 ,  张一飞 ,  于戈

IPC: G06Q30/06 ,  G06F16/9535

Abstract: 本发明公开了一种基于服装图像和标签文本双模态内容分析的个性化服装的推荐方法，包括以下步骤：S1：通过对购物网站的服装图像中的细节属性进行分析，建立以服装细节部位图像和特征形式描述的服装商品模型和用户喜好模型；S2：通过对购物网站的服装标签文本进行分析，建立以文本形式描述的服装商品模型和用户喜好模型；S3：将所述步骤S1建立的基于服装图像的服装商品模型和所述步骤S2建立的用户喜好模型相结合，产生推荐结果。本发明将服装的图像和文本信息进行结合，基于前述两个模型的融合，为用户进行个性化服装推荐。

公开(公告)号：CN119938994A

公开(公告)日：2025-05-06

申请号：CN202510027568.0

申请日：2025-01-08

Applicant: 东北大学

Inventor： 张逸群 ,  张安然 ,  高崇运 ,  冯时 ,  王大玲 ,  张一飞

IPC: G06F16/9032 ,  G06F16/583 ,  G06F40/35 ,  G06T11/60

Abstract: 本发明提供一种基于工具学习的多模态共情回复生成方法，涉及共情对话生成技术领域。该方法构建基于工具学习的多模态共情回复生成框架TOOL‑STCIKERCONV，包括数据改造模块、工具调用模块以及评估训练模块；该方法通过对构建的对话数据集进行改造，使用插入特殊token方法，在表情包内容描述字段Prompt中添加含有特殊token的片段使得多模态基座模型具有思考表情包生成的能力，实现在隐向量空间中思考，让多模态基座模型学习主动调用表情包生成工具，解决了多模态共情对话生成领域大模型缺乏自主思考能力导致的表情包发送频率异常问题；此外，该方法利用即插即用的表情包生成工具，实现了表情包生成模型的迭代更新和更换不同风格文生图模型。

公开(公告)号：CN119739840A

公开(公告)日：2025-04-01

申请号：CN202510258945.1

申请日：2025-03-06

Applicant: 东北大学

Inventor： 张弛 ,  赵晗 ,  程文瀚 ,  王大玲

IPC: G06F16/3329 ,  G06F16/334 ,  G06F16/532 ,  G06F16/583 ,  G06N5/04 ,  G10L15/02 ,  G10L15/16 ,  G10L15/18

Abstract: 本发明提供一种支持情绪化语音输出的多模态智能问答与推荐系统，涉及视觉问答技术领域，具体包括多模态问答模块、多模态推荐模块、语音识别模块、以及语音合成模块；其中多模态问答模块将用户输入的图像转换为自然语言的形式，结合彗星知识库COMET，完成最终的问题回答；语音识别模块用于识别输入到多模态智能问答与推荐系统中的语音数据，并将其处理成文本的形式；多模态推荐模块鉴别传入的数据是否存在模态缺失的情况，生成缺失模态的表示，然后根据用户和物品的交互矩阵，通过图卷积神经网络，学习得到用户和物品的向量表示，并进行可靠性计算，最后将多模态推荐的结果，送回到多模态问答模块中；语音合成模块将语音输出给用户。

公开(公告)号：CN110968782B

公开(公告)日：2023-04-07

申请号：CN201910976349.1

申请日：2019-10-15

Applicant: 东北大学

Inventor： 王大玲 ,  陈英豪 ,  冯时 ,  张一飞

IPC: G06F16/9535 ,  G06F16/9536 ,  G06F16/955 ,  G06F40/216 ,  G06F40/289

Abstract: 本发明提供一种面向学者的用户画像构建及应用方法。首先，从国内学者的个人主页上获取学者基本信息，从国内外著名学术网站上获取学者的研究信息，在此基础上对上述信息进行预处理，从而获得构建学者画像所需的语料库；之后，通过对学者基本属性和研究属性的挖掘，构建学者画像；最后，基于学者画像，实现学者搜索与专家发现、论文审稿人推荐、合作学者推荐等应用。该发明对于学者寻找项目和论文工作的合作者、学术会议和期刊主办者寻找论文审稿人、以及刚刚从事一个新的研究领域的入门者寻找领域的资深学者，均具有支持和帮助作用。

公开(公告)号：CN110472245B

公开(公告)日：2022-11-29

申请号：CN201910751989.2

申请日：2019-08-15

Applicant: 东北大学

Inventor： 冯时 ,  谢宏亮 ,  王大玲 ,  张一飞

IPC: G06F40/279 ,  G06N3/04 ,  G06N3/08 ,  G06F16/35

Abstract: 本发明提出一种基于层次化卷积神经网络的多标记情绪强度预测方法，包括：将原始多标记社会媒体短文分为训练集及测试集；对训练集中一段原始多标记社会媒体短文本数据进行预处理，得到训练集基本情绪单标记数据；构建基于层次卷积神经网络的单标记情绪分类模型；基于注意力卷积神经网络构建情绪强度值模型；针对多标记社会媒体短文本测试数据，使用层次卷积神经网络的单标记情绪分类模型进行预测，得到优化后的多标记情绪强度向量。采用本发明的基于层次化卷积神经网络的多标记情绪强度预测方法，可以进一步提高社会媒体文本情绪强度预测的准确率，特别适合文本中同时存在多种基本情绪的场景。

公开(公告)号：CN112417172A

公开(公告)日：2021-02-26

申请号：CN202011319237.8

申请日：2020-11-23

Applicant: 东北大学

Inventor： 王大玲 ,  李久枫 ,  冯时 ,  张一飞

IPC: G06F16/36 ,  G06F40/242 ,  G06F40/284 ,  G06F40/295 ,  G06K9/00 ,  G06K9/62

Abstract: 本发明提供一种多模态情绪知识图谱的构建及展示方法，涉及多模态知识管理技术领域。该方法首先收集、下载情绪词汇本体或词典、人脸表情和动物表情图像及社会媒体平台常用的表情符号；并对获取的文本和图像数据资源，分别进行预处理，使这些数据资源满足统一的抽象本体模型需求；然后基于文本情绪词、表情图像以及社交媒体表情符号的预处理结果，构建能够表达不同模态实体以及实体之间关系的多模态情绪知识图谱；最后通过采用前端的文本标记语言和前端页面的元素渲染语言的编程来实现对多模态情绪知识图谱的节点、图谱的边、图谱实体属性信息的展示和渲染；在此基础上实现图谱的用户交互功能；同时，通过图形可视化库增加知识图谱的动态效果。