公开(公告)号：CN118296471B

公开(公告)日：2024-08-02

申请号：CN202410719213.3

申请日：2024-06-05

Applicant: 浙江大学

Inventor： 郭德宇 ,  何赛灵

IPC: G06F18/241 ,  G06F18/21 ,  G06N3/0464 ,  G06N3/045 ,  A61B5/16

Abstract: 本发明涉及基于生物学模型的神经网络技术领域，具体涉及基于自注意力机制的眼动数据时空维度分类方法，本发明通过获取儿童的眼动时序数据，将眼动时序数据进行分段；通过计算每个儿童的眼动时序数据在每个段上注意力集中程度值来对位置编码中的固定公式进行修正，得到眼动时序数据再每个段上的自适应位置编码。本发明可以对每个儿童的眼动时序数据的每一段进行独立编码，避免出现整个眼动时序数据每段的分布情况差异较大时采用原有位置编码方法不利于区分真实位置的情况。同时可以根据每一段上眼动时序数据的注意力集中程度为每一段眼动时序数据设定关联位置的编码公式，进而得到更好的位置编码结果。

公开(公告)号：CN118296471A

公开(公告)日：2024-07-05

申请号：CN202410719213.3

申请日：2024-06-05

Applicant: 浙江大学

Inventor： 郭德宇 ,  何赛灵

IPC: G06F18/241 ,  G06F18/21 ,  G06N3/0464 ,  G06N3/045 ,  A61B5/16

Abstract: 本发明涉及基于生物学模型的神经网络技术领域，具体涉及基于自注意力机制的眼动数据时空维度分类方法，本发明通过获取儿童的眼动时序数据，将眼动时序数据进行分段；通过计算每个儿童的眼动时序数据在每个段上注意力集中程度值来对位置编码中的固定公式进行修正，得到眼动时序数据再每个段上的自适应位置编码。本发明可以对每个儿童的眼动时序数据的每一段进行独立编码，避免出现整个眼动时序数据每段的分布情况差异较大时采用原有位置编码方法不利于区分真实位置的情况。同时可以根据每一段上眼动时序数据的注意力集中程度为每一段眼动时序数据设定关联位置的编码公式，进而得到更好的位置编码结果。

公开(公告)号：CN118334441A

公开(公告)日：2024-07-12

申请号：CN202410528712.4

申请日：2024-04-29

Applicant: 浙江大学

Inventor： 郭德宇 ,  何赛灵

IPC: G06V10/764 ,  G06V10/82 ,  G06V40/18 ,  G06V40/20 ,  G06V10/40 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提供一种基于时空信息和神经网络的眼动数据分类方法，包括：获取视觉刺激图像及观看视觉刺激图像时的眼动序列数据；对眼动序列数据进行空白值填充和下采样处理；从处理后的眼动序列数据中提取时间维度特征；从视觉刺激图像中提取空间维度特征；将空间维度特征和时间维度特征进行拼接，并输入全连接层网络进行分类，得到眼动数据类别信息。与现有技术相比，本方案以原始眼动数据作为输入，使用带嵌入层的Transformer模型来学习时间维度上的眼动行为，使用了SALICON模型提取图片中的视觉显著性信息，并使用结合了Inception模块的多尺度CNN网络来学习空间维度上的眼动行为，可以同时利用眼动数据的时间和空间维度信息，从而提高眼动数据分类效果。