-
公开(公告)号：CN107291836B
公开(公告)日：2020-06-02
申请号：CN201710397540.1
申请日：2017-05-31
Applicant: 北京大学
Abstract: 本发明公布了一种基于语义相关度模型的中文文本摘要获取方法，设计文本编码器利用深度神经网络将原文本进行压缩，得到原文本的编码向量；设计摘要解码生成器生成摘要的解码向量；再通过构建语义相关度模型，得到原文本的编码向量和摘要的解码向量之间的相关度，作为原文本和生成摘要之间相关性的度量；再通过训练语义相关度模型最大化所述相关度，由此生成完整的摘要。使用本发明技术方案生成文本摘要，能够提高生成摘要的质量和准确度，尤其提高生成摘要与原文本的语义相关度。
-
公开(公告)号：CN107894971B
公开(公告)日：2019-11-26
申请号：CN201711026809.1
申请日：2017-10-27
Applicant: 北京大学
Abstract: 本发明公开了一种可扩展的基于神经网络的序列标注方法。本方法为：创建一层叠n阶模型，该层叠n阶模型的训练过程为：首先根据训练语料中各标注单元的标签生成多个标签集合，包括一阶至n阶n个标签集合；标注单元i的标签与其邻近n‑1个标注单元的标签合并在一起作为标注单元i的n阶标签，n阶标签集合为各标注单元的n阶标签构成的标签集合；然后利用得到的各阶标签集合分别训练神经网络，分别得到n个模型，即一阶神经网络模型至n阶神经网络模型；利用该层叠n阶模型对给定的序列进行标签预测，得到一标签序列。本发明显著减少了模型过拟合风险，提高了序列标注任务效果。
-
公开(公告)号：CN110377910A
公开(公告)日：2019-10-25
申请号：CN201910662839.4
申请日：2019-07-22
Applicant: 北京大学 , 腾讯科技(深圳)有限公司
Abstract: 本发明提供了一种表格描述的处理方法、装置、设备及存储介质；方法包括：获取表格数据；通过表格描述模型中的预测模型，对表格数据中的单词进行融合，得到所述单词的上下文信息；通过所述预测模型对所述单词的上下文信息进行筛选，得到关键数据；通过所述表格描述模型中的表层实现模型，对所述关键数据进行组合，得到对应所述表格数据的文本描述信息。通过本发明，能够根据结构化的表格，获得连贯的文本描述信息。
-
公开(公告)号：CN107273975A
公开(公告)日：2017-10-20
申请号：CN201710453252.3
申请日：2017-06-15
Applicant: 北京大学
IPC: G06N3/08
CPC classification number: G06N3/08
Abstract: 本发明公布了一种神经网络模型的稀疏化后向传播训练方法，在后向传播过程中，通过基于K大值的稀疏化处理，减少更新与实例相关度低的信息，提高深度神经网络的训练速度和训练效果；在后向传播过程中，首先对输出梯度进行K大值稀疏化处理，利用稀疏化处理后的向量进行梯度计算，得到参数的稀疏化梯度；当神经网络有多层时，本层的输入向量x即为下层的输出向量，输入向量x的梯度可作为下一层的输出结果梯度传递下去。本发明通过减少更新与实例相关度低的信息来提高神经网络的训练速度和训练效果。
-
公开(公告)号：CN114357152B
公开(公告)日：2024-12-03
申请号：CN202111031124.2
申请日：2021-09-03
Applicant: 北京大学 , 腾讯科技(深圳)有限公司
IPC: G06F16/35 , G06F40/216 , G06F18/214 , G06N3/096 , G06F18/2431
Abstract: 本申请实施例公开了一种信息处理方法、装置、计算机可读存储介质和计算机设备，涉及互联网技术领域；通过获取目标样本；采用预设分类模型对目标样本进行分类处理，得到目标样本对应的第一类别概率分布；根据第一类别概率分布计算目标样本的困难系数，并基于困难系数对目标样本进行筛选，得到筛选后目标样本；采用训练后深度分类模型对筛选后目标样本进行分类处理，得到筛选后目标样本对应的第二类别概率分布；计算第二类别概率分布与第一类别概率分布之间的差异，并基于差异对预设分类模型进行收敛，得到训练后分类模型，该训练后分类模型用于对待处理信息进行分类。以此，在模型训练过程中提高了信息处理效率，进而提高了模型训练的效率。
-
Patent Agency Ranking
公开(公告)号：CN118797325A
公开(公告)日：2024-10-18
申请号：CN202310410428.2
申请日：2023-04-14
Applicant: 腾讯科技(深圳)有限公司 , 北京大学
IPC: G06F18/214
Abstract: 本申请公开了一种数据处理的方法，包括：获取初始模型参数集以及微调模型参数集；根据初始模型参数集以及微调模型参数集，确定模型漂移参数集；基于干净数据集构建对角黑塞矩阵；根据模型漂移参数集以及对角黑塞矩阵，确定模型指标参数集；根据模型指标参数集以及模型漂移参数集，对初始模型参数集进行调整，得到干净模型参数集，根据干净模型参数集生成干净微调模型；对干净微调模型进行训练，直至满足模型训练停止条件，得到目标模型；基于待处理数据，通过目标模型获取针对下游任务的数据处理结果。本申请还提供装置、设备以及存储介质。本申请通过将初始模型和微调模型进行混合，能够净化可能含有后门或偏见的模型参数，从而增强防御效果。
-
公开(公告)号：CN116028931A
公开(公告)日：2023-04-28
申请号：CN202111234654.7
申请日：2021-10-22
Applicant: 北京大学 , 腾讯科技(深圳)有限公司
Abstract: 本申请实施例公开了一种文件分类系统的检测方法、设备及装置，包括：将N个第一文件输入第一文件分类系统，获取N个第一文件类别，第一文件分类系统为待检测的文件分类系统，N个第一文件与N个第一文件类别一一对应，N为大于1的整数；从第二文件分类系统中获取第一映射关系，其中，第二文件分类系统属于合法系统，第一映射关系包括多个预设文件类别；将N个第一文件类别与预设文件类别进行比较，根据比较结果确定第一文件分类系统是否为合法系统。本申请实施例，可以提高文件分类系统的安全性。
-
公开(公告)号：CN109582789B
公开(公告)日：2021-07-09
申请号：CN201811339313.4
申请日：2018-11-12
Applicant: 北京大学
IPC: G06F16/35 , G06F16/36 , G06F40/279 , G06F40/30 , G06N3/04
Abstract: 本发明公布了一种基于语义单元信息的文本多标签分类方法，建立语义单元多标签分类模型SU4MLC，将基于注意力机制的循环神经网络序列到序列模型作为基线模型进行改进，通过改进源端用于注意力机制的表示；利用深度学习中的空洞卷积对基线模型的源端上下文表示进行语义单元相关信息抽取，得到语义单元信息；利用多层混合的注意力机制将语义单元信息和词级别信息进行结合，提供给解码器；利用解码器进行标签序列的解码，由此实现基于语义单元信息的文本多标签分类。本发明能够解决现有的注意力机制易受到噪声影响且对分类贡献不足的问题，能够提升注意力机制对文本分类的贡献，更高效地解决文本多标签分类问题。
-
公开(公告)号：CN109582789A
公开(公告)日：2019-04-05
申请号：CN201811339313.4
申请日：2018-11-12
Applicant: 北京大学
Abstract: 本发明公布了一种基于语义单元信息的文本多标签分类方法，建立语义单元多标签分类模型SU4MLC，将基于注意力机制的循环神经网络序列到序列模型作为基线模型进行改进，通过改进源端用于注意力机制的表示；利用深度学习中的空洞卷积对基线模型的源端上下文表示进行语义单元相关信息抽取，得到语义单元信息；利用多层混合的注意力机制将语义单元信息和词级别信息进行结合，提供给解码器；利用解码器进行标签序列的解码，由此实现基于语义单元信息的文本多标签分类。本发明能够解决现有的注意力机制易受到噪声影响且对分类贡献不足的问题，能够提升注意力机制对文本分类的贡献，更高效地解决文本多标签分类问题。
-
公开(公告)号：CN107291837A
公开(公告)日：2017-10-24
申请号：CN201710397541.6
申请日：2017-05-31
Applicant: 北京大学
Abstract: 本发明公布了一种基于领域适应性的社交网络文本的分词方法，通过建立集成式神经网络和采用自训练的学习方法，利用跨领域的新闻语料、社交网络中的标注数据和无标注数据对集成式神经网络模型进行训练；具体将社交网络文本分为标注和未标注数据集合作为输入；将新闻领域语料作为源语料，在新闻源语料上预训练源分类器；通过对源分类器赋予权重的方式进行源分类器的集成；使用社交网络语料对集成式神经网络模型进行训练；利用训练好的集成式神经网络模型进行预测，由此提升社交网络分词的效果。本发明可用于解决社交网络中因为数据过少导致的效果差的问题，能够有效地提升社交网络文本分词的效果。
-
-
-
-
-
-
-
-
-
Search Results
26
records
(took 0.017 seconds)
