基于主题注意力的深度学习文本分类模型训练方法

    公开(公告)号:CN114925197A

    公开(公告)日:2022-08-19

    申请号:CN202210312063.5

    申请日:2022-03-28

    Applicant: 中南大学

    Inventor: 张祖平 彭杰 龙哲

    Abstract: 本公开实施例中提供了一种基于主题注意力的深度学习文本分类模型训练方法,属于计算技术领域,具体包括:根据原始文本构建文本数据集;得到文本的数字化表示、文本的掩盖序列、文本的数字标签;得到样本,并将样本分为训练集和验证集;初始化前向网络中变量;得到表征文本的一组词向量;得到原始注意力矩阵;得到目标注意力矩阵;根据目标注意力矩阵,得到概率矩阵;计算注意力头输出;得到注意力输出;计算主题输出;计算主题概率向量;计算交叉熵损失;计算前向网络变量的梯度;更新网络变量;迭代计算交叉熵损失以及梯度;当迭代达到预设次数或模型损失趋于稳定,迭代停止。通过本公开的方案提高了模型的并行性、稳定性、可视性和准确率。

    基于主题注意力的深度学习文本分类模型训练方法

    公开(公告)号:CN114925197B

    公开(公告)日:2024-06-11

    申请号:CN202210312063.5

    申请日:2022-03-28

    Applicant: 中南大学

    Inventor: 张祖平 彭杰 龙哲

    Abstract: 本公开实施例中提供了一种基于主题注意力的深度学习文本分类模型训练方法,属于计算技术领域,具体包括:根据原始文本构建文本数据集;得到文本的数字化表示、文本的掩盖序列、文本的数字标签;得到样本,并将样本分为训练集和验证集;初始化前向网络中变量;得到表征文本的一组词向量;得到原始注意力矩阵;得到目标注意力矩阵;根据目标注意力矩阵,得到概率矩阵;计算注意力头输出;得到注意力输出;计算主题输出;计算主题概率向量;计算交叉熵损失;计算前向网络变量的梯度;更新网络变量;迭代计算交叉熵损失以及梯度;当迭代达到预设次数或模型损失趋于稳定,迭代停止。通过本公开的方案提高了模型的并行性、稳定性、可视性和准确率。

    自锚式预应力组件、装配式张拉组件

    公开(公告)号:CN204112596U

    公开(公告)日:2015-01-21

    申请号:CN201420351073.0

    申请日:2014-06-27

    Abstract: 本实用新型涉及一种用于加固混凝土结构的自锚式预应力组件以及用于加固混凝土结构的装配式张拉组件。自锚式预应力组件包括:锚座,锚座具有底板和固定于底板上的限位板,限位板设置有至少一个通槽;预应力索以及连接于预应力索的挤压式端头锚;其中,预应力索位于限位板的通槽中,挤压式端头锚抵靠限位板的侧壁以构成轴向限位。装配式张拉组件,包括:锚座;可拆卸地连接于锚座上的支撑板、转向滚轴、压板和柔性张拉杆;其中,支撑板上设置有至少一个通孔,转向滚轴设置有与至少一个通孔一一对应的至少一个环形槽,柔性张拉杆依次穿过环形槽以及该环形槽所对应的通孔。本实用新型的目的在于提供明显提高混凝土结构的承载力。

Patent Agency Ranking