公开(公告)号：CN117648922A

公开(公告)日：2024-03-05

申请号：CN202311397452.3

申请日：2023-10-26

Applicant: 桂林电子科技大学

Inventor： 李优 ,  尹锦辉 ,  林煜明 ,  周娅 ,  邹有鑫 ,  吴俊欢 ,  曾令青

IPC: G06F40/211 ,  G06F16/35 ,  G06N3/04 ,  G06N3/0895

Abstract: 本发明涉及语言处理技术领域，涉及一种用于探测预训练深度语言模型生成的句子表示的方法，包括：一、给定句子W、W对应的模型M；二、从模型M中获得向量序列H＝M(W)；三、设计树拓扑探针，树拓扑探针首先使用结构探针计算H的探测树深序列probSeqf；然后，构建伪树深序列pesuSeqW并计算pesuSeqf与pesuSeqW之间的距离度量；四、将任务损失和距离度量输入综合损失得到最后的微调损失，通过树拓扑探针微调发现预训练深度语言模型生成的句子表示的内部结构是否具有树形结构的层次结构。本发明能较佳地探测句子表示。