公开(公告)号：CN116483970A

公开(公告)日：2023-07-25

申请号：CN202310461626.1

申请日：2023-04-26

Applicant: 北京理工大学

Inventor： 宋大为 ,  李劭彧

IPC: G06F16/332 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明涉及一种面向低资源环境的多风格模块化智能对话系统，属于智能对话技术领域。系统包括前段模块和后端模块。其中，前端模块包括用户输入单元、模型选择单元、风格选择单元，后端模块包括输入编码器、解码器、生成器和adapter单元。用户在前端界面通过模型选择单元和风格选择单元确定系统使用的模型与风格，然后通过输入单元输入文本。后端接收前端传入的模型、风格和输入文本，生成回复并传回前端。前端接受后端传入的回复，添加至聊天记录，在前端进行显示。本发明大幅降低了对于存储空间和内存空间的占用，并大幅提升了多风格对话系统在不同风格之间切换的速度。

公开(公告)号：CN115017900A

公开(公告)日：2022-09-06

申请号：CN202210435577.X

申请日：2022-04-24

Applicant: 北京理工大学

Inventor： 宋大为 ,  王婧琳 ,  马放 ,  戎璐

IPC: G06F40/289 ,  G06F40/216 ,  G06K9/62 ,  G06V10/762 ,  G06V10/764 ,  G06V10/82 ,  G06V20/40 ,  G06V40/70

Abstract: 本发明涉及一种基于多模态多去偏见的对话情感识别方法，属于自然语言处理技术领域。对于文本模态，本发明提出了去除五种类型的偏见，包括词向量表示中的性别、年龄、种族、宗教和性少数群体偏见。同时，本发明将文本去偏方法扩展到视觉模态，并着重去除两类最为典型的视觉偏见：性别和种族偏见。本发明进一步提出了一种基于子空间投影的去偏方法，该方法为每种类型的视觉偏见构建一个子空间，并通过将每个视觉信息对象的特征向量表示投影到相应的子空间来代表视觉表示中的所存在的该种类型的偏见，进而将其去除。相比传统多模态对话情感识别方法，本方法更加注重特殊群体的感受，减少了社会偏见。相比现有的大多去偏方法只去除一种偏见，本发明一次去除了五种，关注的特殊群体更多更广泛。

公开(公告)号：CN114117041A

公开(公告)日：2022-03-01

申请号：CN202111326061.3

申请日：2021-11-10

Applicant: 北京理工大学

Inventor： 宋大为 ,  马放 ,  张辰 ,  张博

IPC: G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于特定属性词上下文建模的属性级情感分析方法，属于自然语言处理技术领域。本方法综合了预训练语言模型、基于属性的情感分类技术，提出了对输入进行转换增强，并对预训练语言模型进一步微调的模型，以实现高效的特定属性上下文建模，包括特定属性的输入转换、上下文建模、属性特征归纳和微调分类四部分。本方法可以有效且准确地捕捉多属性评论句中的目标属性对应的观点词，并可以更加准确地判定目标属性的情感极性。

公开(公告)号：CN113946670A

公开(公告)日：2022-01-18

申请号：CN202111217510.0

申请日：2021-10-19

Applicant: 北京理工大学

Inventor： 宋大为 ,  张寒青

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/35 ,  G06F40/247

Abstract: 本发明涉及一种面向对话情感识别的对比式上下文理解增强方法，属于计算机与信息科学技术领域。首先，基于已有的对话情感分析框架，提取出其中用于情感分类的隐藏状态序列。然后，基于提取的序列表示，构建包含上下文语义感知模式的对比样本。之后，利用对比学习损失函数，让模型能够从样本中学习到其包含的模式，以增强模型对于对话上下文的理解能力。最后，将对比损失和情感分类损失函数相加并进行多任务学习，完成网络模型训练。本方法具有较强地适配性，可以灵活地嵌入到已有的情感分类模型中，能够让模型在一定程度上从对话上下文内容理解的角度进行情感判别，同时能有效提升已有模型的情感分类准确率和面对扰动的鲁棒性。

公开(公告)号：CN119808938A

公开(公告)日：2025-04-11

申请号：CN202411784813.4

申请日：2024-12-06

Applicant: 北京理工大学

Inventor： 宋大为 ,  张辰

IPC: G06N5/04 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/08

Abstract: 本发明涉及一种大模型加速方法，具体涉及一种基于阈值跳层的大模型加速方法。本发明综合了效率收益的同时，也兼顾了可观的效果。本发明旨在针对以往的基于跳层的大模型加速方法，这些方法虽然能够拿到很好的效率收益，但是却忽略了跳层操作往往可能会使得效果不可接受，具体表现为大模型生成的文本流畅度不高、准确率不足等。本方法提出了一种基于阈值跳层算法，相较于以前传统的跳层算法，在进一步提高了效率收益的同时，能够收获更优异的效果。具体地，基于阈值跳层算法需要对每一个模型中间某层的词元输入特征进行打分，当打分超过预设阈值时，则该词元需要参与当前层的计算，否则可以直接跳过当前层的计算。这样的设计使得跳层操作更加可拓展，因而能够进一步提高效率收益，并且使得效果也能保持在可接受的范围内。

公开(公告)号：CN118332154A

公开(公告)日：2024-07-12

申请号：CN202310071866.0

申请日：2023-01-12

Applicant: 华为技术有限公司 ,  北京理工大学

Inventor： 郭小瑜 ,  晏小辉 ,  吴海明 ,  杨楠 ,  宋大为

IPC: G06F16/78 ,  G06F16/783

Abstract: 本申请实施例提供一种提取物品描述信息的方法以及电子设备。方法应用于电子设备，方法包括：获取视频；将所述视频的音频数据转化为文本信息；将所述文本信息拆分多个文本片段，以及，将所述视频拆分为多个视频片段；识别所述视频对应的物品的物品名称；获取所述物品所包含的物品属性，生成物品属性集合；获取所述多个视频片段中视频片段与所述物品属性集合中的物品属性间的对应关系；根据所述对应关系，确定所述视频对应的物品的物品属性，以及，确定所述视频对应的物品的物品属性所对应的视频片段以及文本片段。根据本申请实施例的方法，可以提高用户获取物品信息的效率，提升用户体验。

公开(公告)号：CN114757183B

公开(公告)日：2024-05-10

申请号：CN202210373901.X

申请日：2022-04-11

Applicant: 北京理工大学

Inventor： 宋大为 ,  马放 ,  张辰 ,  杨艺

IPC: G06F40/289 ,  G06F40/30 ,  G06F16/35

Abstract: 本发明涉及一种基于对比对齐网络的跨领域情感分析方法，属于自然语言处理中的细粒度情感分析技术领域。本发明研究了跨领域情感分类的一个未充分探索的场景，即目标领域是少样本的场景。在此场景下，本发明提出了一种名为对比对齐网络(CAN)的神经网络模型。模型首先从原领域和目标领域中随机抽取两个实例，然后根据组合目标领域和原领域的实例对其进行训练。第一个目标是最小化原领域上的分类错误。第二个是成对对比目标，其中一对中的目标领域实例和原领域实例之间的距离度量，如果它们表达相同的情感，则最小化，否则该度量以恒定的上限最大化。本方法解决了跨领域情感分类任务中目标领域数据资源受限的问题，提高了用户的使用体验。

公开(公告)号：CN117077658A

公开(公告)日：2023-11-17

申请号：CN202311069273.7

申请日：2023-08-23

Applicant: 北京理工大学

Inventor： 宋大为 ,  吴海明

IPC: G06F40/232 ,  G06N3/04 ,  G06F40/30

Abstract: 本发明涉及文本纠正技术领域，特别涉及一种文本纠正方法、装置、设备以及存储介质，对待纠正文本进行语义信息提取，获得语义特征表示；对语义特征表示进行注意力提取，获得判别注意力特征表示以及纠正注意力特征表示，并进行特征交互处理，获得判别状态特征表示以及纠正状态特征表示；根据判别状态特征表示以及纠正状态特征，获得错误预测概率表示以及字符预测概率表示；根据误预测概率表示以及字符预测概率表示，获得对待纠正文本进行纠正处理，通过注意力网络生成具有判别信息以及纠正信息的注意力特征，并且通过特征交互的方式，使判别信息和纠正信息融入特征表示中，提高了对文本的错误判别以及纠正的准确性。

公开(公告)号：CN119886116A

公开(公告)日：2025-04-25

申请号：CN202411643354.8

申请日：2024-11-18

Applicant: 北京理工大学

Inventor： 宋大为 ,  聂之蘖 ,  吴海明

IPC: G06F40/232

Abstract: 本发明涉及中文文本纠正技术领域，特别涉及一种基于拼写检查的中文文本纠正方法、装置、计算机设备以及存储介质，通过从特定领域的文档文本中提取出领域特征信息，构建特定领域检索文本，以及从特定领域的案例池中提取出相关纠正案例，构建特定领域案例模板，结合待纠正中文文本以及特定领域检索文本、特定领域案例模板，作为输入数据传递给预训练模型，通过引入外部的领域知识以及相关纠正案例作为演示，指导语言模型进行准确文本纠正，防止语言模型生成过多与文本纠正结果无关的信息，提高语言模型对特定领域字符出现错误情况的识别和纠正的准确性。

公开(公告)号：CN118051128A

公开(公告)日：2024-05-17

申请号：CN202211428220.5

申请日：2022-11-15

Applicant: 华为技术有限公司 ,  北京理工大学

Inventor： 吴海明 ,  晏小辉 ,  杨楠 ,  郭小瑜 ,  冯桫 ,  韩雨鑫 ,  宋大为

IPC: G06F3/023 ,  G06F40/205 ,  G06F40/232

Abstract: 本申请提供了一种纠错指导的方法及相关装置，该方法应用于终端设备或服务器，该方法包括：获取文本；确定文本是否存在错误字词；在文本存在错误字词的情况下，输出纠错指导意见，纠错指导意见包括错误原因类别、错误字词的相关知识和与错误字词对应的正确字词的相关知识。通过对用户输入的文本进行分析，在文本存在错误的情况下，输出包括错误原因类别、错误字词的相关知识以及与错误字词所对应的正确字词的相关知识，以帮助用户理解错误字词和正确字词的区别，有助于用户掌握正确字词的相关知识，避免以后出现同类的错误，起到辅助教学的作用，从而提高用户体验。