公开(公告)号：CN115392218B

公开(公告)日：2023-06-20

申请号：CN202210837482.0

申请日：2022-07-15

Applicant: 哈尔滨工业大学

Inventor： 丁效 ,  陈薄文 ,  杜理

IPC: G06F40/211 ,  G06F40/253 ,  G06F40/295 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请公开了一种预训练语言模型的构建方法及系统，方法包括：获取认知语言数据；收录认知语言数据和眼动数据；根据认知语言数据诱导出细化的粒度的认知特征；将加权之后的各认知特征和眼动数据纳入BERT中进行训练，得到一种改进版本的预训练语言模型。本申请通过将人类的眼球运动轨迹捕捉数据与心理语言学关于人类语言学习的相关理论进行结合，并设计新的训练手段和方法，将这两者与预训练模型进行进一步融合，通过这一方法，能够使得预训练模型具有一定程度的人类认知特征，从而使得模型原本的模型更加优秀的任务表现。

公开(公告)号：CN115392218A

公开(公告)日：2022-11-25

申请号：CN202210837482.0

申请日：2022-07-15

Applicant: 哈尔滨工业大学

Inventor： 丁效 ,  陈薄文 ,  杜理

IPC: G06F40/211 ,  G06F40/253 ,  G06F40/295 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种预训练语言模型的构建方法及系统，方法包括：获取认知语言数据；收录认知语言数据和眼动数据；根据认知语言数据诱导出细化的粒度的认知特征；将加权之后的各认知特征和眼动数据纳入BERT中进行训练，得到一种改进版本的预训练语言模型。本申请通过将人类的眼球运动轨迹捕捉数据与心理语言学关于人类语言学习的相关理论进行结合，并设计新的训练手段和方法，将这两者与预训练模型进行进一步融合，通过这一方法，能够使得预训练模型具有一定程度的人类认知特征，从而使得模型原本的模型更加优秀的任务表现。