一种文本索引模型构建方法、索引方法、系统和终端

    公开(公告)号:CN116910186A

    公开(公告)日:2023-10-20

    申请号:CN202311169134.1

    申请日:2023-09-12

    Inventor: 韩进 邵林波

    Abstract: 本发明公开了一种文本索引模型构建方法、索引方法、系统和终端,属于文本索引领域,包括:获取维基百科的中文语料,对数据进行预处理;基于Skip‑gram模型对语料库中的词进行训练,得到对应词向量;遍历m段文本,将每段文本进行分词,并使用词向量构建每段文本的n维球空间,总共得到m个n维球空间,把这m个n维球空间作为文本索引;通过迭代算法不断调整每个球空间的中心位置,实现最小的可容纳文本中所有词向量的n维球空间;输入关键词进行检索,若检索成功则使用ACBM算法定位关键词在每段文本中的位置。本发明提出了一种新的文本索引方法,在大数据环境下,可以大幅度提高检索速度。

Patent Agency Ranking