公开(公告)号：CN108470212A

公开(公告)日：2018-08-31

申请号：CN201810095119.X

申请日：2018-01-31

Applicant: 江苏大学

Inventor： 牛德姣 ,  刘亚文 ,  蔡涛 ,  夏政 ,  刘天泉 ,  詹毕晟 ,  詹永照 ,  梁军

IPC: G06N3/063 ,  G06N3/08

Abstract: 本发明公开了一种能利用事件持续时间的高效LSTM设计方法，提出使用基于事件持续时间的序列编码方法，将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入；通过高效LSTM隐藏层神经元记忆更新方法，使神经元能够记忆事件的持续时间，同时合理高效地进行神经元的计算。针对现有循环神经网络LSTM单元在处理长序列时，不能有效利用序列中事件的持续时间信息、导致计算冗余，训练时间开销大的问题，设计了一种能利用事件持续时间的高效LSTM结构；包括基于事件持续时间的序列编码方法和高效LSTM隐藏层神经元记忆更新方法，本发明模拟生物神经元对外界激励的应激模式，在利用事件持续时间建模的同时有效减少了LSTM隐藏层神经元的冗余计算，提高了LSTM的训练效率，从而保证在处理长序列时LSTM模型的有效性和实用性。

公开(公告)号：CN108470212B

公开(公告)日：2020-02-21

申请号：CN201810095119.X

申请日：2018-01-31

Applicant: 江苏大学

Inventor： 牛德姣 ,  刘亚文 ,  蔡涛 ,  夏政 ,  刘天泉 ,  詹毕晟 ,  詹永照 ,  梁军

IPC: G06N3/063 ,  G06N3/08

Abstract: 本发明公开了一种能利用事件持续时间的高效LSTM设计方法，提出使用基于事件持续时间的序列编码方法，将序列数据中所包含的事件及其持续时间信息作为LSTM网络各个时刻的输入；通过高效LSTM隐藏层神经元记忆更新方法，使神经元能够记忆事件的持续时间，同时合理高效地进行神经元的计算。针对现有循环神经网络LSTM单元在处理长序列时，不能有效利用序列中事件的持续时间信息、导致计算冗余，训练时间开销大的问题，设计了一种能利用事件持续时间的高效LSTM结构；包括基于事件持续时间的序列编码方法和高效LSTM隐藏层神经元记忆更新方法，本发明模拟生物神经元对外界激励的应激模式，在利用事件持续时间建模的同时有效减少了LSTM隐藏层神经元的冗余计算，提高了LSTM的训练效率，从而保证在处理长序列时LSTM模型的有效性和实用性。

公开(公告)号：CN111401515A

公开(公告)日：2020-07-10

申请号：CN202010092811.4

申请日：2020-02-14

Applicant: 江苏大学

Inventor： 牛德姣 ,  夏政 ,  蔡涛 ,  周时颉 ,  杨乐

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种利用训练过程压缩和记忆巩固构建增量式LSTM的方法，本发明利用LSTM门单元的活跃度来选择训练过程中重要的输入时刻并压缩训练过程形成历史记忆，同时将压缩后的记忆与新数据上训练有效融合，利用历史信息巩固网络记忆以此满足对序列数据的增量式处理要求。该方法能避免现有LSTM系统存储开销大、训练效率低的问题，提高LSTM对动态增长的序列数据的训练效率，避免历史信息的遗忘，保证LSTM的有效性和实用性。