-
公开(公告)号：CN116070615A
公开(公告)日：2023-05-05
申请号：CN202310102691.5
申请日：2023-01-29
Applicant: 北京达佳互联信息技术有限公司
Abstract: 本公开关于文本处理模型生成方法、装置、电子设备和存储介质，该方法包括：通过对待训练文本表征模型进行神经元丢弃处理，得到正文本表征模型，将样本文本信息和初始文本表征信息分别输入到待训练文本表征模型和正文本表征模型中，得到样本文本表征信息以及正样本文本表征信息。对样本文本信息进行掩码处理，得到掩码信息，并将掩码信息和初始文本表征信息输入到掩码生成判别器和掩码生成器中，得到掩码检测结果和掩码复原结果。基于样本文本表征信息、正样本文本表征信息、掩码检测结果、掩码复原结果和样本文本信息进行模型训练，得到文本处理模型。该方法可以从多个角度丰富待训练文本表征模型的可识别特征，提高了文本表征模型的准确性。
-
公开(公告)号：CN115983289A
公开(公告)日：2023-04-18
申请号：CN202310026051.0
申请日：2023-01-09
Applicant: 北京达佳互联信息技术有限公司
IPC: G06F40/42 , G06F40/151 , G06F18/22
Abstract: 本公开关于一种数据生成方法、装置、电子设备、存储介质，所述方法包括：获取原始数据集合，以及基于原始数据集合得到的扩增数据集合；根据每个原始数据进行语言转换后的原始转译数据，得到原始转译数据集合，以及根据每个扩增数据进行语言转换后的扩增转译数据，得到扩增转译数据集合；根据原始转译数据集合和扩增转译数据集合，确定多个转译数据对；从多个转译数据对中确定出至少一个目标转译数据对；每个目标转译数据对中的两个转译数据的语义相似度大于或等于预设相似度阈值；基于至少一个目标转译数据对，从原始数据集合和扩增数据集合中，筛选出至少一个目标数据对。采用本方法能够实现可控的数据增强，提升了数据增强效果。
-
公开(公告)号：CN113792166B
公开(公告)日：2023-04-07
申请号：CN202110951049.5
申请日：2021-08-18
Applicant: 北京达佳互联信息技术有限公司
IPC: G06F16/483 , G10L15/20 , G10L15/22 , G06F40/289 , G06F40/30 , G06N3/08
Abstract: 本公开是关于一种信息获取方法、装置、电子设备及存储介质，该方法包括：获取视频的多模态信息，视频的多模态信息包括：视频的主要文字信息、视频的辅助文字信息和多媒体信息，该多媒体信息包括：视觉信息和/或语音信息，其中，视觉信息包括：视频的多个关键帧图像，语音信息包括：视频中的语音信号；基于视频的多模态信息，生成该视频的摘要信息。同时考虑了视频的主要文字信息、视频的辅助文字信息和视频的多媒体信息等多个类型的信息与待生成的视频的摘要信息的关联性，基于视频的主要文字信息、视频的辅助文字信息和视频的多媒体信息等多个类型的信息，生成视频的摘要信息，从而，充分地利用视频的信息，得到视频的摘要信息。
-
Patent Agency Ranking
公开(公告)号：CN116432662A
公开(公告)日：2023-07-14
申请号：CN202310410748.8
申请日：2023-04-17
Applicant: 北京达佳互联信息技术有限公司
IPC: G06F40/30 , G06F18/22 , G06N3/0455 , G06N3/0895
Abstract: 本公开提供了一种文本处理模型的训练方法、文本训练方法、装置、设备、介质，涉及深度学习技术领域。该方法包括：获取训练数据集与预先构建的初始神经网络模型；生成原始文本对应的第一掩码文本向量与第二掩码文本向量；对第一掩码文本向量进行编码处理，得到原始文本语义向量，根据原始文本语义向量与第二掩码文本向量的对比结果，确定文本重构损失函数；根据原始文本语义向量与上下文掩码文本向量的对比结果，确定关联文本损失函数；基于文本重构损失函数与关联文本损失函数，调整初始神经网络模型的模型参数，得到文本处理模型。本公开综合考虑文本语义信息与上下文文本跨度之间的语义相关性信息进行建模，可以有效改进模型性能。
-
公开(公告)号：CN113486978B
公开(公告)日：2024-03-05
申请号：CN202110845713.8
申请日：2021-07-26
Applicant: 北京达佳互联信息技术有限公司
IPC: G06F18/2415 , G06F18/214 , G06N3/04 , G06N3/084
Abstract: 本公开关于一种文本分类模型的训练方法、装置、电子设备及存储介质，其中方法基于目标分类任务的第一训练数据得到第一文本分类模型，基于目标参数对第二预训练模型进行初始化，得到第二文本分类模型，并采用第一文本分类模型和第二文本分类模型分别对目标分类任务的第二训练数据进行识别，并基于识别结果获取目标损失，以第一文本分类模型为老师模型、第二文本分类模型为学生模型，根据目标损失对第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。由于本公开中进行模型蒸馏的老师模型和学生模型可以采用任意规模相同的Transformer预训练模型，且在学生模型初始化时基于目标参数来减少计算量，因此，可以大大提升学生模型的预测速度及效果。
-
公开(公告)号：CN116011445A
公开(公告)日：2023-04-25
申请号：CN202310012566.5
申请日：2023-01-05
Applicant: 北京达佳互联信息技术有限公司
IPC: G06F40/284 , G06F18/214 , G06N3/0455 , G06N3/04 , G06N3/084
Abstract: 本公开关于一种文本生成模型的训练方法、装置、电子设备及存储介质，该方法包括：对文本样本中连续的至少两个词进行掩码操作，得到包括掩码片段的掩码文本；根据文本样本和掩码文本，对自然语言理解模型进行训练；将掩码文本输入训练完成的自然语言理解模型，得到针对掩码片段的第一输出结果，并将掩码文本输入文本生成模型，得到针对掩码片段的第二输出结果；根据第二输出结果和第一输出结果，确定文本生成模型的第一损失函数值，根据第二输出结果和文本样本，确定文本生成模型的第二损失函数值；根据第一损失函数值和第二损失函数值，对文本生成模型的网络参数进行调整，获得预训练完成的文本生成模型。本公开可以提高文本生成结果的准确性。
-
公开(公告)号：CN113486978A
公开(公告)日：2021-10-08
申请号：CN202110845713.8
申请日：2021-07-26
Applicant: 北京达佳互联信息技术有限公司
Abstract: 本公开关于一种文本分类模型的训练方法、装置、电子设备及存储介质，其中方法基于目标分类任务的第一训练数据得到第一文本分类模型，基于目标参数对第二预训练模型进行初始化，得到第二文本分类模型，并采用第一文本分类模型和第二文本分类模型分别对目标分类任务的第二训练数据进行识别，并基于识别结果获取目标损失，以第一文本分类模型为老师模型、第二文本分类模型为学生模型，根据目标损失对第二文本分类模型进行反向传播，得到更新后的第二文本分类模型。由于本公开中进行模型蒸馏的老师模型和学生模型可以采用任意规模相同的Transformer预训练模型，且在学生模型初始化时基于目标参数来减少计算量，因此，可以大大提升学生模型的预测速度及效果。
-
公开(公告)号：CN113792166A
公开(公告)日：2021-12-14
申请号：CN202110951049.5
申请日：2021-08-18
Applicant: 北京达佳互联信息技术有限公司
IPC: G06F16/483 , G10L15/20 , G10L15/22 , G06F40/289 , G06F40/30 , G06N3/08
Abstract: 本公开是关于一种信息获取方法、装置、电子设备及存储介质，该方法包括：获取视频的多模态信息，视频的多模态信息包括：视频的主要文字信息、视频的辅助文字信息和多媒体信息，该多媒体信息包括：视觉信息和/或语音信息，其中，视觉信息包括：视频的多个关键帧图像，语音信息包括：视频中的语音信号；基于视频的多模态信息，生成该视频的摘要信息。同时考虑了视频的主要文字信息、视频的辅助文字信息和视频的多媒体信息等多个类型的信息与待生成的视频的摘要信息的关联性，基于视频的主要文字信息、视频的辅助文字信息和视频的多媒体信息等多个类型的信息，生成视频的摘要信息，从而，充分地利用视频的信息，得到视频的摘要信息。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.032 seconds)
