-
公开(公告)号：CN118013201B
公开(公告)日：2024-10-01
申请号：CN202410258967.3
申请日：2024-03-07
Applicant: 暨南大学
IPC: G06F18/10 , G06F18/2433 , G06F18/2415 , G06N3/0455 , G06N3/047 , G06N3/088 , G06N3/084 , G06N3/048
Abstract: 本发明公开了一种基于改进BERT融合对比学习的流量异常检测方法及系统，该方法包括下述步骤：获取流量数据并进行数据预处理；构建改进BERT模型，包括嵌入层和12个Transformer的编码器网络，对前6个Transformer的编码器和后6个Transformer的编码器网络分别进行权值共享操作；构建分类网络；基于交叉熵损失和对比损失构建总损失函数；改进BERT模型进行无监督预训练；改进BERT模型进行微调训练；通过反向传播更新模型参数，得到训练后的改进BERT模型；将待测试的流量数据输入训练后的改进BERT模型，得到流量检测结果。本发明能有效提升模型的泛化能力，同时保持稳定准确率。
-
Patent Agency Ranking
公开(公告)号：CN115392260B
公开(公告)日：2023-04-07
申请号：CN202211342234.5
申请日：2022-10-31
Applicant: 暨南大学
IPC: G06F40/30 , G06N3/04 , G06F40/242 , G06F40/289
Abstract: 本发明公开了一种面向特定目标的社交媒体推文情感分析方法，包括：对社交媒体推文数据进行预处理，得到目标文本和特定目标；将目标文本经过嵌入层，得到目标文本词向量；将特定目标经过嵌入层，得到特定目标词向量；将目标文本词向量经过自注意力结构，得到自注意力结果；将自注意力结果与特定目标词向量结合并经过跨越注意力结构，得到跨越注意力结果；将跨越注意力结果进行拼接，得到注意力表示矩阵；将注意力表示矩阵依次经过池化层、全连接层和softmax层，得到特定目标的情感倾向结果。本发明基于Transformer结构中的注意力机制，融合局部注意力机制和含有方位信息的注意力机制，提高针对特定目标情感分析的准确性。
-
公开(公告)号：CN115392260A
公开(公告)日：2022-11-25
申请号：CN202211342234.5
申请日：2022-10-31
Applicant: 暨南大学
IPC: G06F40/30 , G06N3/04 , G06F40/242 , G06F40/289
Abstract: 本发明公开了一种面向特定目标的社交媒体推文情感分析方法，包括：对社交媒体推文数据进行预处理，得到目标文本和特定目标；将目标文本经过嵌入层，得到目标文本词向量；将特定目标经过嵌入层，得到特定目标词向量；将目标文本词向量经过自注意力结构，得到自注意力结果；将自注意力结果与特定目标词向量结合并经过跨越注意力结构，得到跨越注意力结果；将跨越注意力结果进行拼接，得到注意力表示矩阵；将注意力表示矩阵依次经过池化层、全连接层和softmax层，得到特定目标的情感倾向结果。本发明基于Transformer结构中的注意力机制，融合局部注意力机制和含有方位信息的注意力机制，提高针对特定目标情感分析的准确性。
-
公开(公告)号：CN115759119A
公开(公告)日：2023-03-07
申请号：CN202310030728.8
申请日：2023-01-10
Applicant: 暨南大学
IPC: G06F40/30 , G06F40/242 , G06F40/284 , G06F16/35 , G06N3/0455 , G06N3/047 , G06N3/048 , G06N3/091
Abstract: 本发明公开了一种金融文本情感分析方法、系统、介质和设备，该方法包括下述步骤：分析每个金融文本表达的情感并进行标注；对待测金融文本进行数据预处理，得到金融文本序列；根据金融词典进行分词、编码，编码后输入BERT模型训练；多头注意力层以编码后的词向量作为输入，为每个词向量提供不同语义的词向量，前馈层将含有序列信息的词向量进行线性处理，得到整合信息后的词向量；多头注意力层和前馈层后各执行残差连接和归一化处理，完成各词向量对序列信息的整合；整合信息后的各个词向量经过全连接层、softmax计算，选择概率最大的情感作为文本情感分类的结果。本发明能更好地利用到完整语义信息，极大提高了文本情感分析的准确度。
-
公开(公告)号：CN118013201A
公开(公告)日：2024-05-10
申请号：CN202410258967.3
申请日：2024-03-07
Applicant: 暨南大学
IPC: G06F18/10 , G06F18/2433 , G06F18/2415 , G06N3/0455 , G06N3/047 , G06N3/088 , G06N3/084 , G06N3/048
Abstract: 本发明公开了一种基于改进BERT融合对比学习的流量异常检测方法及系统，该方法包括下述步骤：获取流量数据并进行数据预处理；构建改进BERT模型，包括嵌入层和12个Transformer的编码器网络，对前6个Transformer的编码器和后6个Transformer的编码器网络分别进行权值共享操作；构建分类网络；基于交叉熵损失和对比损失构建总损失函数；改进BERT模型进行无监督预训练；改进BERT模型进行微调训练；通过反向传播更新模型参数，得到训练后的改进BERT模型；将待测试的流量数据输入训练后的改进BERT模型，得到流量检测结果。本发明能有效提升模型的泛化能力，同时保持稳定准确率。
-
公开(公告)号：CN115759119B
公开(公告)日：2023-04-21
申请号：CN202310030728.8
申请日：2023-01-10
Applicant: 暨南大学
IPC: G06F40/30 , G06F40/242 , G06F40/284 , G06F16/35 , G06N3/0455 , G06N3/047 , G06N3/048 , G06N3/091
Abstract: 本发明公开了一种金融文本情感分析方法、系统、介质和设备，该方法包括下述步骤：分析每个金融文本表达的情感并进行标注；对待测金融文本进行数据预处理，得到金融文本序列；根据金融词典进行分词、编码，编码后输入BERT模型训练；多头注意力层以编码后的词向量作为输入，为每个词向量提供不同语义的词向量，前馈层将含有序列信息的词向量进行线性处理，得到整合信息后的词向量；多头注意力层和前馈层后各执行残差连接和归一化处理，完成各词向量对序列信息的整合；整合信息后的各个词向量经过全连接层、softmax计算，选择概率最大的情感作为文本情感分类的结果。本发明能更好地利用到完整语义信息，极大提高了文本情感分析的准确度。
-
-
-
-
-
Search Results
6
records
(took 0.01 seconds)
