-
公开(公告)号:CN117576771B
公开(公告)日:2024-05-03
申请号:CN202410069098.X
申请日:2024-01-17
Applicant: 之江实验室
IPC: G06V40/18 , G06V20/40 , G06V10/764
Abstract: 本说明书公开了一种视觉注意力评估方法、装置、介质及设备,获取观测视频以及被试观看观测视频的被试眼动轨迹。根据预训练的视频语义分割模型,提取观测视频对应的各语义特征。确定预设的认知决策模型,将所述观测视频的各语义特征以及所述被试眼动轨迹输入所述认知决策模型,得到所述被试的注意力参数。注意力参数反映了被试对该观测视频中各语义特征的关注程度和偏好。将被试的注意力参数输入预先训练完成的该观测视频对应的分类模型,得到分类模型输出的分类结果,根据分类结果,绘制被试的注意力图谱,可以直观的了解到被试的眼动轨迹关注了哪些信息。
-
公开(公告)号:CN117854714A
公开(公告)日:2024-04-09
申请号:CN202410262494.4
申请日:2024-03-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于眼动追踪的信息推荐方法以及装置,通过眼动检测设备采集待检测者在观看由显示器播放的检测视频时的眼动轨迹数据,将眼动轨迹数据输入到预设的注意力检测模型中,以使得注意力检测模型根据眼动轨迹数据生成待检测者在观看检测视频时的注意特征图谱,进而根据注意特征图谱,对待检测者进行信息推荐。通过本方法进行信息推荐时,所生成的推荐信息的准确性较高,可以向待检测者提供更加符合真实情况的实用信息,从而能够为存在注意力问题的待检测者提供更具实效性的帮助。
-
公开(公告)号:CN117854714B
公开(公告)日:2024-05-24
申请号:CN202410262494.4
申请日:2024-03-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于眼动追踪的信息推荐方法以及装置,通过眼动检测设备采集待检测者在观看由显示器播放的检测视频时的眼动轨迹数据,将眼动轨迹数据输入到预设的注意力检测模型中,以使得注意力检测模型根据眼动轨迹数据生成待检测者在观看检测视频时的注意特征图谱,进而根据注意特征图谱,对待检测者进行信息推荐。通过本方法进行信息推荐时,所生成的推荐信息的准确性较高,可以向待检测者提供更加符合真实情况的实用信息,从而能够为存在注意力问题的待检测者提供更具实效性的帮助。
-
公开(公告)号:CN119226500A
公开(公告)日:2024-12-31
申请号:CN202411247254.3
申请日:2024-09-06
Applicant: 之江实验室
IPC: G06F16/338 , G06F16/33 , G06F16/332 , G06F40/30
Abstract: 本发明公开了一种基于大语言模型知识增强的专业领域数据库检索方法、电子设备、介质,包括:获取目标领域数据库中每一类型数据对应的关键词及其描述,并与数据链接、内容匹配,得到SQL表格;定义第一语料模板,以此串联关键词及其描述,得到数据提示文本;定义第二语料模板,以此串联查询文本,得到查询提示文本;将数据、查询提示文本分别输入至大语言模型,分别生成响应、检索文本;将查询、检索以及响应文本分别输入自然语言处理模型,生成查询、检索以及响应文本特征;对查询、检索文本特征进行加权融合,得到融合文本特征;计算其与响应文本特征之间的相似度,将相似度最高的前K个响应文本特征对应的数据从SQL表格中导出,作为检索结果。
-
公开(公告)号:CN117576771A
公开(公告)日:2024-02-20
申请号:CN202410069098.X
申请日:2024-01-17
Applicant: 之江实验室
IPC: G06V40/18 , G06V20/40 , G06V10/764
Abstract: 本说明书公开了一种视觉注意力评估方法、装置、介质及设备,获取观测视频以及被试观看观测视频的被试眼动轨迹。根据预训练的视频语义分割模型,提取观测视频对应的各语义特征。确定预设的认知决策模型,将所述观测视频的各语义特征以及所述被试眼动轨迹输入所述认知决策模型,得到所述被试的注意力参数。注意力参数反映了被试对该观测视频中各语义特征的关注程度和偏好。将被试的注意力参数输入预先训练完成的该观测视频对应的分类模型,得到分类模型输出的分类结果,根据分类结果,绘制被试的注意力图谱,可以直观的了解到被试的眼动轨迹关注了哪些信息。
-
-
-
-