基于自注意力的单词和标签联合的短文本分类预测方法

    公开(公告)号:CN111666406B

    公开(公告)日:2023-03-31

    申请号:CN202010286184.8

    申请日:2020-04-13

    Abstract: 本发明涉及一种基于自注意力的单词和标签联合的短文本分类预测方法,其技术特点是:构造短文本序列的向量表示的矩阵,得出经由文本自注意力转换后的文本表示矩阵;构造标签序列的向量表示矩阵,得出短文本与标签交互注意力转换后的交互文本表示矩阵;得到文本语义表示向量z;最后z经过全连接层预测分类结果与短文本实际标签y进行比较计算出预测误差,通过不断迭代得到最优参数。本发明考虑单词和标签之间的相互影响,引入自注意力机制,利用数据集本身的类别标签信息,将标签和短文本的单词向量映射到同一空间,从而实现更好的交互功能,其充分提取到上下文信息,增加可解释性,提高了分类结果的准确度及分类任务的泛化能力。

    一种基于Android的垃圾分类回收APP
    2.
    发明公开

    公开(公告)号:CN113010165A

    公开(公告)日:2021-06-22

    申请号:CN201911313608.9

    申请日:2019-12-19

    Abstract: 一种基于Android的垃圾分类回收APP,此APP的用户分为两类,即普通用户和管理员,其特征在于:管理员可以进行用户管理、订单管理、留言管理、奖品兑换管理等操作;普通用户可以进行注册登录、修改密码、阅读新闻、拍照识别垃圾类别、有奖知识问答、垃圾回收、儿童专区等操作。本发明具有的优点:该发明以教育为主,可以提高居民垃圾分类意识;垃圾回收者由大学生志愿者以及社区志愿者组成,培养了志愿者的分类能力。

    利用共现信息的多任务辅助极限多标签短文本分类方法

    公开(公告)号:CN112800222B

    公开(公告)日:2022-07-19

    申请号:CN202110101374.2

    申请日:2021-01-26

    Abstract: 本发明涉及一种利用共现信息的多任务辅助极限多标签短文本分类方法,其主要技术特点是:构建账号‑特征文件;利用账号‑特征文件为每条微博短文本提供额外的特征信息,并将该特征信息建模为显式的模型输入共现信息;构建与微博短文本相关的多标签文本分类任务和极限多标签文本分类任务;构建多任务学习任务模型;使用大规模微博短文本数据对多任务学习任务模型进行预训练;对多任务学习任务模型进行微调;对神经网络输出进行量化并最终输出多任务预测结果。本发明利用共现信息设计多任务学习架构,实现对大规模短文本的多标签分类,方法可在较低的工业部署成本情况下,对大规模短文本数据集实现稳定精确实时的多标签预测。

    利用共现信息的多任务辅助极限多标签短文本分类方法

    公开(公告)号:CN112800222A

    公开(公告)日:2021-05-14

    申请号:CN202110101374.2

    申请日:2021-01-26

    Abstract: 本发明涉及一种利用共现信息的多任务辅助极限多标签短文本分类方法,其主要技术特点是:构建账号‑特征文件;利用账号‑特征文件为每条微博短文本提供额外的特征信息,并将该特征信息建模为显式的模型输入共现信息;构建与微博短文本相关的多标签文本分类任务和极限多标签文本分类任务;构建多任务学习任务模型;使用大规模微博短文本数据对多任务学习任务模型进行预训练;对多任务学习任务模型进行微调;对神经网络输出进行量化并最终输出多任务预测结果。本发明利用共现信息设计多任务学习架构,实现对大规模短文本的多标签分类,方法可在较低的工业部署成本情况下,对大规模短文本数据集实现稳定精确实时的多标签预测。

    基于自注意力的单词和标签联合的短文本分类预测方法

    公开(公告)号:CN111666406A

    公开(公告)日:2020-09-15

    申请号:CN202010286184.8

    申请日:2020-04-13

    Abstract: 本发明涉及一种基于自注意力的单词和标签联合的短文本分类预测方法,其技术特点是:构造短文本序列的向量表示的矩阵,得出经由文本自注意力转换后的文本表示矩阵;构造标签序列的向量表示矩阵,得出短文本与标签交互注意力转换后的交互文本表示矩阵;得到文本语义表示向量z;最后z经过全连接层预测分类结果与短文本实际标签y进行比较计算出预测误差,通过不断迭代得到最优参数。本发明考虑单词和标签之间的相互影响,引入自注意力机制,利用数据集本身的类别标签信息,将标签和短文本的单词向量映射到同一空间,从而实现更好的交互功能,其充分提取到上下文信息,增加可解释性,提高了分类结果的准确度及分类任务的泛化能力。

Patent Agency Ranking