-
公开(公告)号：CN119808938A
公开(公告)日：2025-04-11
申请号：CN202411784813.4
申请日：2024-12-06
Applicant: 北京理工大学
IPC: G06N5/04 , G06N3/0455 , G06N3/0475 , G06N3/08
Abstract: 本发明涉及一种大模型加速方法，具体涉及一种基于阈值跳层的大模型加速方法。本发明综合了效率收益的同时，也兼顾了可观的效果。本发明旨在针对以往的基于跳层的大模型加速方法，这些方法虽然能够拿到很好的效率收益，但是却忽略了跳层操作往往可能会使得效果不可接受，具体表现为大模型生成的文本流畅度不高、准确率不足等。本方法提出了一种基于阈值跳层算法，相较于以前传统的跳层算法，在进一步提高了效率收益的同时，能够收获更优异的效果。具体地，基于阈值跳层算法需要对每一个模型中间某层的词元输入特征进行打分，当打分超过预设阈值时，则该词元需要参与当前层的计算，否则可以直接跳过当前层的计算。这样的设计使得跳层操作更加可拓展，因而能够进一步提高效率收益，并且使得效果也能保持在可接受的范围内。
-
公开(公告)号：CN116514706B
公开(公告)日：2024-09-13
申请号：CN202310328306.9
申请日：2023-03-30
Applicant: 北京理工大学
IPC: C07D213/38 , C07D215/12 , C09K11/06 , G01N21/64 , G01N21/78
Abstract: 本发明涉及一种位置迁移型双色荧光探针、制备方法及其应用，属于荧光探针技术领域。所述荧光探针的结构式为#imgabs0##imgabs1##imgabs2#所述荧光探针在活细胞处于正常生理状态时染色脂滴，发出蓝色荧光，在细胞发生自噬时，部分探针分子从脂滴迁移到溶酶体上发出红色荧光，从而实现双色、染色位置迁移观察细胞自噬过程的应用。所述荧光探针具有价格低、染色时间快、免洗、生物相容性好的特点。
-
公开(公告)号：CN114757183B
公开(公告)日：2024-05-10
申请号：CN202210373901.X
申请日：2022-04-11
Applicant: 北京理工大学
IPC: G06F40/289 , G06F40/30 , G06F16/35
Abstract: 本发明涉及一种基于对比对齐网络的跨领域情感分析方法，属于自然语言处理中的细粒度情感分析技术领域。本发明研究了跨领域情感分类的一个未充分探索的场景，即目标领域是少样本的场景。在此场景下，本发明提出了一种名为对比对齐网络(CAN)的神经网络模型。模型首先从原领域和目标领域中随机抽取两个实例，然后根据组合目标领域和原领域的实例对其进行训练。第一个目标是最小化原领域上的分类错误。第二个是成对对比目标，其中一对中的目标领域实例和原领域实例之间的距离度量，如果它们表达相同的情感，则最小化，否则该度量以恒定的上限最大化。本方法解决了跨领域情感分类任务中目标领域数据资源受限的问题，提高了用户的使用体验。
-
公开(公告)号：CN114117041B
公开(公告)日：2024-05-24
申请号：CN202111326061.3
申请日：2021-11-10
Applicant: 北京理工大学
IPC: G06F16/35 , G06N3/0455 , G06N3/08
Abstract: 本发明涉及一种基于特定属性词上下文建模的属性级情感分析方法，属于自然语言处理技术领域。本方法综合了预训练语言模型、基于属性的情感分类技术，提出了对输入进行转换增强，并对预训练语言模型进一步微调的模型，以实现高效的特定属性上下文建模，包括特定属性的输入转换、上下文建模、属性特征归纳和微调分类四部分。本方法可以有效且准确地捕捉多属性评论句中的目标属性对应的观点词，并可以更加准确地判定目标属性的情感极性。
-
公开(公告)号：CN114780722B
公开(公告)日：2024-05-14
申请号：CN202210342805.9
申请日：2022-03-31
Applicant: 北京理工大学
IPC: G06F16/35 , G06N3/045 , G06N3/0499 , G06N3/082 , G06N3/048
Abstract: 本发明涉及一种结合领域通用型语言模型的领域泛化方法，属于人工智能迁移学习技术领域。本方法综合了预训练语言模型和模型裁剪技术。首先对预训练语言模型微调，利用多个源域数据对预训练语言模型进行训练。基于微调后得到的模型，计算模型中参数的域不变分数，对域不变分数低的参数进行裁剪。最后对裁剪后的语言模型进行重训练，将训练得到领域通用型语言模型在不同数据上进行泛化性能测试。本方法解决了过度参数化的预训练语言模型中学习方差大的问题。基于本发明的领域通用型语言模型明显优于相应的基线模型，在自然语言处理领域泛化任务上取得了良好效果。
-
Patent Agency Ranking
公开(公告)号：CN114780722A
公开(公告)日：2022-07-22
申请号：CN202210342805.9
申请日：2022-03-31
Applicant: 北京理工大学
Abstract: 本发明涉及一种结合领域通用型语言模型的领域泛化方法，属于人工智能迁移学习技术领域。本方法综合了预训练语言模型和模型裁剪技术。首先对预训练语言模型微调，利用多个源域数据对预训练语言模型进行训练。基于微调后得到的模型，计算模型中参数的域不变分数，对域不变分数低的参数进行裁剪。最后对裁剪后的语言模型进行重训练，将训练得到领域通用型语言模型在不同数据上进行泛化性能测试。本方法解决了过度参数化的预训练语言模型中学习方差大的问题。基于本发明的领域通用型语言模型明显优于相应的基线模型，在自然语言处理领域泛化任务上取得了良好效果。
-
公开(公告)号：CN114385805A
公开(公告)日：2022-04-22
申请号：CN202111534340.9
申请日：2021-12-15
Applicant: 北京理工大学
IPC: G06F16/335 , G06F40/289 , G06F40/30 , G06K9/62
Abstract: 本发明涉及一种提高深度文本匹配模型适应性的小样本学习方法，属于自然语言处理中的文本匹配技术领域。本方法综合了应用于文本匹配模型的小样本学习与跨领域适应性方法，沿最小化目标域小样本数据集损失的方向，对源域数据的权重进行梯度下降，解决了传统的跨领域文本匹配方法在小样本学习设置下表现不足的问题，增强了文本匹配模型在少样本学习环境中的适应性。本方法与基础模型无关，可应用于各种基于深度学习的文本匹配模型。
-
公开(公告)号：CN104021115A
公开(公告)日：2014-09-03
申请号：CN201410264137.8
申请日：2014-06-13
Applicant: 北京理工大学
IPC: G06F17/27
Abstract: 本发明涉及一种基于神经网络的中文比较句识别方法及装置，包括以下步骤：首先对语料及其分词结果进行规范化处理，然后通过基于比较特征词词典与句法结构模板、依存关系相结合的方法进行粗粒度提取；最后设计一种类别序列规则(CSR)提取算法，并利用CRF挖掘实体对象信息即语义角色信息，辅以比较特征词与统计词特征，利用这四种特征构造BP神经网络，找到使性能达到最优的特征形式完成细粒度提取。对比现有技术，本发明能够有效利用不同层级语义信息进行识别，使用户能够更快速而且准确地找到语料中置信度较高的中文比较句，提高中文比较句的识别率。
-
公开(公告)号：CN117910522A
公开(公告)日：2024-04-19
申请号：CN202311823584.8
申请日：2023-12-27
Applicant: 北京理工大学
IPC: G06N3/0499 , G06N3/082 , G06N3/0895 , G06F40/194 , G06F40/211
Abstract: 本申请涉及人工智能句向量技术领域，提出一种句向量模型的优化方法、文本相似度计算方法、装置、电子设备以及存储介质，该方法包括：根据对比学习损失函数，确定第一句向量模型；其中，所述第一句向量模型包括若干多头注意力模块以及若干前馈神经网络模块；计算每个所述多头注意力模块中第一网络参数的重要程度分数以及每个所述前馈神经网络模块中第二网络参数的重要程度分数；根据所述第一网络参数的重要程度分数以及所述第二网络参数的重要程度分数，对所述第一句向量模型进行网络参数裁剪，获得第二句向量模型；对所述第二句向量模型进行模型重训练，获得最优句向量模型，提升了最优句向量模型的语义表达效果。
-
公开(公告)号：CN114117041A
公开(公告)日：2022-03-01
申请号：CN202111326061.3
申请日：2021-11-10
Applicant: 北京理工大学
Abstract: 本发明涉及一种基于特定属性词上下文建模的属性级情感分析方法，属于自然语言处理技术领域。本方法综合了预训练语言模型、基于属性的情感分类技术，提出了对输入进行转换增强，并对预训练语言模型进一步微调的模型，以实现高效的特定属性上下文建模，包括特定属性的输入转换、上下文建模、属性特征归纳和微调分类四部分。本方法可以有效且准确地捕捉多属性评论句中的目标属性对应的观点词，并可以更加准确地判定目标属性的情感极性。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.03 seconds)
