-
公开(公告)号：CN106844345B
公开(公告)日：2019-07-09
申请号：CN201710065928.1
申请日：2017-02-06
Applicant: 厦门大学
IPC: G06F17/27
Abstract: 一种基于参数线性约束的多任务分词方法，涉及基于深度学习的自然语言处理。使用不同分词标准的数据对不同分词模型进行初步训练；对于不同分词模型，共享部分参数，对另外的参数建立线性约束关系；建立统一的目标函数，进行不同分词模型的训练。利用参数的线性约束来建模不同分词模型之间的关系，使得不同分词标准模型的训练能够使用另外分词标准的训练数据。本发明算法明确、思路清晰，利用这个方法能够扩增现有分词模型的训练数据，提高中文分词任务的性能，更好地服务于基于分词的其他自然语言处理任务。
-
公开(公告)号：CN108171283A
公开(公告)日：2018-06-15
申请号：CN201711493993.0
申请日：2017-12-31
Applicant: 厦门大学
Abstract: 一种基于结构化语义嵌入的图像内容自动描述方法，涉及图像内容理解领域。包括以下步骤：获取文本解析树；构建视觉解析树；嵌入视觉解析树。通过对图像进行语义解析获得视觉语义结构树，获取关键的实体以及它们之间的关系，通过新的结构化的语义嵌入方法将关键的实体和它们的关系嵌入到神经解码器模型中，来引导文本的生成。解决了图像内容自动描述任务中注意模型的关键实体以及实体之间的关系被忽视的问题。在多数指标上都优于其他的方法，生成的图像内容的描述也比最流行的方法更为准确。
-
公开(公告)号：CN119539115A
公开(公告)日：2025-02-28
申请号：CN202411342985.6
申请日：2024-09-25
Applicant: 厦门大学
Abstract: 本发明提出了一种基于学习率路径切换的大语言模型版本迭代方法及装置，该方法包括获取当前版本的大语言模型；根据新的数据集和当前版本的大语言模型对应的学习率主路径的检查点对当前版本的大语言模型进行继续预训练，以得到迭代好的下一版本的大语言模型，其中，在进行继续预训练时学习率路径从主路径切换到分支路径上，以采用快速衰减的学习率对当前版本的大语言模型进行继续预训练；根据新的数据集和当前版本的大语言模型对应的主路径检查点继续在主路径上以预设的最大学习率预训练当前版本的大语言模型，以得到迭代好的下一版本的大语言模型对应的检查点；从而在保持大语言模型版本迭代高性能的同时还降低了版本迭代的总预训练成本。
-
公开(公告)号：CN119514539A
公开(公告)日：2025-02-25
申请号：CN202411342995.X
申请日：2024-09-25
Applicant: 厦门大学
IPC: G06F40/289 , G06F16/334 , G06N7/01 , G06N20/00 , G06F17/16
Abstract: 本申请的实施例提供了一种关键短语生成模型的训练方法、关键短语生成方法及装置。该训练方法包括：获取训练文档及其对应的若干关键短语真值；基于最优传输理论，将若干关键短语真值分配给若干控制码；将训练文档输入至生成器中，以使生成器输出若干候选关键短语；将若干候选关键短语输入至选择器中，以使选择器输出决策标签，决策标签用以指示保留或丢弃对应的候选关键短语；构建生成器对应的第一损失函数，以及选择器对应的第二损失函数，并分别根据第一损失函数和第二损失函数对生成器和选择器进行调优，以得到目标关键短语生成模型。本申请实施例的技术方案可以兼顾关键短语生成的精确度和召回率，保证关键短语生成质量。
-
公开(公告)号：CN119047473A
公开(公告)日：2024-11-29
申请号：CN202410871410.7
申请日：2024-07-01
Applicant: 厦门大学
IPC: G06F40/30 , G06F40/295 , G06N5/025 , G06N3/042 , G06N3/045
Abstract: 本申请的实施例提供了一种基于图结构的跨文档关系抽取方法、装置、介质及设备。该方法包括：针对包含有目标实体对的每一文档，确定各所述文档中每一句子对应的贡献度分数；将各所述文档中贡献度分数符合预定规则的句子输入至BERT编码器中，得到每一实体的实体表示；根据各所述实体的实体表示，构建对应的图结构；采用预先训练完成的图循环神经网络，根据所述图结构中各实体节点及其邻居节点的节点表示，对每一所述实体节点的节点表示进行更新；根据每一所述实体节点更新后的节点表示进行关系预测。本申请实施例的技术方案可以提高图结构构建的合理性，进而保证关系预测结果的准确性。
-
Patent Agency Ranking
公开(公告)号：CN118313482A
公开(公告)日：2024-07-09
申请号：CN202410428647.8
申请日：2024-04-10
Applicant: 厦门大学 , 上海人工智能创新中心
IPC: G06N20/00 , G06F18/23213
Abstract: 本申请的实施例提供了一种大语言模型的持续学习训练方法、装置、介质及设备。该方法包括：获取由基座大语言模型基于与各历史训练阶段的训练数据相关的实例生成的第一合成实例集合，第一合成实例集合包括若干第一合成实例；将每一第一合成实例的第一指令输入输入至待优化大语言模型中，以使待优化大语言模型输出对应的第二响应输出，得到包含若干第二合成实例的第二合成实例集合；基于第二合成实例集合以及当前训练阶段的训练数据，构建增强训练数据以对待优化大语言模型进行优化，得到目标大语言模型。本申请实施例的技术方案可以摆脱对先前训练阶段的训练数据的依赖，兼顾大语言模型的新旧知识，保证大语言模型的持续学习效果。
-
公开(公告)号：CN117151112A
公开(公告)日：2023-12-01
申请号：CN202311067347.3
申请日：2023-08-23
Applicant: 厦门大学
IPC: G06F40/30 , G06F40/289 , G06F16/35 , G06F18/25
Abstract: 本发明公开了一种多模态关键短语生成方法，包括：获取图像和文本；根据图像得到对应的视觉特征；对图像进行预处理，得到对应的第一文本语义和第二文本语义，根据文本、第一文本语义和第二文本语义得到全局文本特征；根据视觉特征和全局文本特征得到匹配分数；将视觉特征和全局文本特征投影到共享语义空间，并结合匹配分数计算得到相关性矩阵，根据相关性矩阵得到过滤后的视觉特征；对过滤后的视觉特征和全局文本特征进行融合，以得到融合特征，并根据融合特征得到关键词短语分类预测结果；根据融合特征和关键词短语分类预测结果以序列的形式生成每个关键短语；由此，不仅用外部知识丰富了模型输入，而且还有效地过滤了图像噪声。
-
公开(公告)号：CN117076638A
公开(公告)日：2023-11-17
申请号：CN202311053134.5
申请日：2023-08-21
Applicant: 厦门大学
IPC: G06F16/332 , G06F16/33 , G06F40/289 , G06F40/205 , G06N20/00
Abstract: 本发明公开了一种对话篇章解析方法，包括：获取对话数据；对对话数据进行文本序列化处理，以得到序列化的对话历史信息、篇章关系类别描述信息和篇章结构标注信息；构建篇章解析模型，并将序列化的对话历史信息、篇章关系类别描述信息和篇章结构标注信息输入到篇章解析模型，以便对篇章解析模型进行训练；获取待解析的对话信息，并将待解析的对话信息输入到训练好的篇章解析模型，以便通过训练好的篇章解析模型对待解析的对话信息进行解析，以得到对应的篇章结构；由此，能够将该任务建模为文本生成任务，避免引入额外解码器，仅通过预训练模型完成预测，从而能通过扩大模型规模有效提升模型性能。
-
公开(公告)号：CN116168401A
公开(公告)日：2023-05-26
申请号：CN202310158612.2
申请日：2023-02-23
Applicant: 厦门大学
IPC: G06V30/246 , G06V30/19
Abstract: 本申请提出了一种基于多模态码本的文本图像翻译模型的训练方法，包括采用所述训练样本集中的图像对应的语言文本和目标语言文本对所述文本编码器和所述文本解码器进行训练；采用所述训练样本集中的图像对应的语言文本对所述多模态码本进行训练；采用所述图像和所述图像对应的语言文本对所述图像编码器和所述多模态码本进行训练；采用所述图像、所述图像对应的语言文本、所述光学字符识别文本和所述目标语言文本对所述文本图像翻译模型进行微调，以得到训练好的文本图像翻译模型；由此，利用输入的图像联想相关文本，从而为翻译过程提供有效的补充信息，以便得到更好的翻译效果。
-
公开(公告)号：CN115688765A
公开(公告)日：2023-02-03
申请号：CN202211338577.4
申请日：2022-10-28
Applicant: 厦门大学
IPC: G06F40/289 , G06F40/211
Abstract: 本申请的实施例提供了一种明喻句式的成分抽取方法、装置、计算机可读介质及设备。该方法包括：确定待处理文本对应的分词结果、分词掩码矩阵以及基于句法依存关系的邻接矩阵；对词性为名词的分词进行词义检索，得到所述待处理文本对应的名词释义集合；将所述待处理文本与所述名词释义集合进行拼接，并输入至BERT编码器中，得到对应的文本表示矩阵；将所述文本表示矩阵与所述分词掩码矩阵相乘，得到对应的词结点矩阵；基于GAT算法对所述词结点矩阵和所述邻接矩阵进行表示更新，以得到所述待处理文本对应的结点表示；基于所述结点表示，对所述待处理文本进行明喻成分抽取。本申请实施例的技术方案提高明喻句式中成分识别以及抽取的准确性。
-
-
-
-
-
-
-
-
-
Search Results
57
records
(took 0.02 seconds)
