公开(公告)号：CN110399489B

公开(公告)日：2022-06-17

申请号：CN201910611047.4

申请日：2019-07-08

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 陈志明 ,  庄灿波 ,  郑伟斌 ,  苏玉海 ,  赵建强

IPC: G06F16/35 ,  G06K9/62

Abstract: 本发明公开了一种聊天数据分段方法及装置，该方法包括以下步骤：S1：对聊天数据进行切分获得多个预分段段落；S2：通过话题切换的特征语句库与预分段段落的句子向量相似度判断预分段段落是否是包含不同话题内容的段落，若是，则对预分段段落进行再分段获得再分段段落，并对再分段段落重复步骤S2，若否，则进入下一步；以及S3：通过计算相邻的再分段段落的段落向量相似度判断再分段段落是否存在内容相关的相邻的段落，若是，则对再分段段落进行合并获得终分段段落，对终分段段落重复步骤S3，若否，则将再分段段落作为终分段段落。通过此方法可以将不同话题的聊天数据进行有效的分段，提高聊天数据处理效率。

公开(公告)号：CN112711943A

公开(公告)日：2021-04-27

申请号：CN202011497407.1

申请日：2020-12-17

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 庄灿波 ,  赵建强 ,  张辉极 ,  杜新胜 ,  黄剑 ,  刘晓芳 ,  陈志明 ,  郑伟斌

IPC: G06F40/279 ,  G06F40/53 ,  G06F40/58 ,  G06F16/33 ,  G06N7/00

Abstract: 本发明公开了一种维吾尔文语种识别方法，通过构建基于维吾尔文的词汇数据库，并且基于维吾尔文语句的联合概率函数建立语言模型；根据待分析数据的词数选择词汇数据库或语言模型判断待分析数据是否为维吾尔文，其中通过语言模型计算出条件概率值以评估待分析数据的语句的合理性，并通过归一化处理的结果分析出待分析数据是否为维吾尔文。通过词汇数据库比对，对较短的内容进行判断提高准确度。本发明通过词汇数据库查询以及语言模型分析的技术提升对聊天内容中的维文识别。通过维文聊天数据和新闻数据能够准确的判断聊天中的维文信息，有助于维文翻译以及对聊天内容的分析阅读。