-
公开(公告)号:CN109918489B
公开(公告)日:2021-02-02
申请号:CN201910153329.4
申请日:2019-02-28
Applicant: 上海乐言信息科技有限公司
IPC: G06F16/332 , G06F16/36 , G06F40/289
Abstract: 本发明公开了一种多策略融合的知识问答方法和系统,包括离线部分和在线部分,离线部分主要用于数据准备以及模型训练,在线部分主要用于系统服务,包括接收用户输入语句并纠正其拼写错误;对所述用户输入语句进行分词和词性标注;抽取所述用户语句中的实体信息,并将所述实体链接到所述知识图谱节点;根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句;将所述可执行查询语句在知识图谱上执行查询得到答案,再通过多种方法结合的回复生成方式根据所述答案生成相应的自然语言回复用户,使得问答系统适用于通用和领域知识图谱的问题查询,提升了系统鲁棒性的同时具有良好的可解释性与可控性。
-
公开(公告)号:CN111914062A
公开(公告)日:2020-11-10
申请号:CN202010670132.0
申请日:2020-07-13
Applicant: 上海乐言信息科技有限公司
IPC: G06F16/33 , G06F16/332 , G06F16/35 , G06F40/289 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于关键词的长文本问答对生成系统,实现根据文本及关键词生成与关键词相关且有意义的问答对。其技术方案为:系统包括生成模块和评估模块,生成模块针对段落及关键词生成与关键词相关的问答对,评估模块通过自动评估方式评价问答对质量。生成模块基于三阶段生成模型生成问答对:依次串联的段落检索单元、答案范围提取单元以及问题生成单元。其中段落检索单元用于基于信息检索模型,根据关键词从文本中检索出候选问答对在长文本中所处的候选段落;答案范围提取单元用于从候选段落中提取出可能存在的答案范围;问题生成单元根据候选段落和答案范围中的其中一个答案,生成问题并和答案组成与关键词相关的问答对。
-
公开(公告)号:CN109933661A
公开(公告)日:2019-06-25
申请号:CN201910266295.X
申请日:2019-04-03
Applicant: 上海乐言信息科技有限公司
IPC: G06F16/332
Abstract: 本发明公开了一种基于深度生成模型的半监督问答对归纳方法和系统,该方法包括以下步骤:通过候选问答对生成方法从输入的对话数据中整理出候选问答对;通过采用基于深度生成模型的问答对评价方法对所述候选问答对打分;根据所述候选问答对打分结果利用问答对筛选方法得到高质量问答对;通过半监督学习方式对所述深度生成模型进行预先训练后再应用到所述问答对评价方法中。通过以上方式能够进行自动化的问答对归纳,极大减少了人工参与并获取高质量的问答对。
-
公开(公告)号:CN111897912A
公开(公告)日:2020-11-06
申请号:CN202010669590.2
申请日:2020-07-13
Applicant: 上海乐言信息科技有限公司
Abstract: 本发明公开了基于采样频率优化的主动学习短文本分类方法和系统,拓宽主动学习优化方向,提供业界广泛使用的简单有效的优化框架。其技术方案为:文本分类器学习已标注数据;基于文本分类器的学习结果对未标注数据进行采样评估并选出最有价值数据;对选出数据进行手动标注并加入到已标注数据中,重复上述步骤直到迭代次数达到上限或准确度达标。在采样评估过程中,对已标注数据,根据其所属类别进行分类,统计每种类别已标注的数据量,得到各自的采样频率数据;对未标注数据,对未标注数据先进行评估得到初始评估分值及其预测结果类别,然后根据预测结果类别获取对应的采样频率数据,基于初始评估分值和对应类别的采样频率数据得到最终评估分值。
-
公开(公告)号:CN109918489A
公开(公告)日:2019-06-21
申请号:CN201910153329.4
申请日:2019-02-28
Applicant: 上海乐言信息科技有限公司
IPC: G06F16/332 , G06F16/36 , G06F17/27
Abstract: 本发明公开了一种多策略融合的知识问答方法和系统,包括离线部分和在线部分,离线部分主要用于数据准备以及模型训练,在线部分主要用于系统服务,包括接收用户输入语句并纠正其拼写错误;对所述用户输入语句进行分词和词性标注;抽取所述用户语句中的实体信息,并将所述实体链接到所述知识图谱节点;根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句;将所述可执行查询语句在知识图谱上执行查询得到答案,再通过多种方法结合的回复生成方式根据所述答案生成相应的自然语言回复用户,使得问答系统适用于通用和领域知识图谱的问题查询,提升了系统鲁棒性的同时具有良好的可解释性与可控性。
-
公开(公告)号:CN109933661B
公开(公告)日:2020-12-18
申请号:CN201910266295.X
申请日:2019-04-03
Applicant: 上海乐言信息科技有限公司
IPC: G06F16/332
Abstract: 本发明公开了一种基于深度生成模型的半监督问答对归纳方法和系统,该方法包括以下步骤:通过候选问答对生成方法从输入的对话数据中整理出候选问答对;通过采用基于深度生成模型的问答对评价方法对所述候选问答对打分;根据所述候选问答对打分结果利用问答对筛选方法得到高质量问答对;通过半监督学习方式对所述深度生成模型进行预先训练后再应用到所述问答对评价方法中。通过以上方式能够进行自动化的问答对归纳,极大减少了人工参与并获取高质量的问答对。
-
公开(公告)号:CN111914061A
公开(公告)日:2020-11-10
申请号:CN202010669244.4
申请日:2020-07-13
Applicant: 上海乐言信息科技有限公司
Abstract: 本发明公开了一种文本分类主动学习的基于半径的不确定度采样方法和系统,应用于多类别短文本,优化减弱场景中噪声对结果的不良影响,并且方法的普适性较高,能够适用于任何存在隐藏层的深度模型。其技术方案为:通过文本分类器对每个标注数据的数据点的信息熵进行评分,并给出该标注数据的预测类别;文本分类器对未标注数据给出对应的预测类别;分别计算每个预测类别的半径;将标注数据的信息熵评分、标注数据的预测类别、未标注数据的预测类别的半径组合在一起,得到综合评分。
-
公开(公告)号:CN111611347A
公开(公告)日:2020-09-01
申请号:CN202010443243.8
申请日:2020-05-22
Applicant: 上海乐言信息科技有限公司 , 南京大学
IPC: G06F16/33 , G06F16/332 , G06F40/284
Abstract: 本发明公开了一种任务型对话系统的对话状态跟踪、训练方法及系统,提高了多领域复杂场景中的对话状态跟踪准确率。其技术方案为:对话历史进行预处理,获得以词为单位的对话历史文本的向量化表示;对向量化的对话历史文本,使用双向长短期记忆网络作为编码器进行编码;初始化解码器,解码出目标槽位信息;关注对话历史中的目标槽位信息,通过注意力机制计算对话历史中每个词对于目标槽位的重要程度;判断输入的对话历史中是否提及目标槽位,若提及目标槽位则进行下一步的处理,否则方法结束;从对话历史的向量化表示、对话历史的原始输入以及历史对话状态中分别寻找目标槽位取值,最后据此得到目标槽位的最终取值。
-
公开(公告)号:CN109885660A
公开(公告)日:2019-06-14
申请号:CN201910134021.5
申请日:2019-02-22
Applicant: 上海乐言信息科技有限公司
IPC: G06F16/33 , G06F16/332 , G06F16/36
Abstract: 本发明公开了知识图谱赋能的基于信息检索的问答系统和方法,整体提升系统的问答效果,扩大用户咨询范围并提升问题反馈的准确度。其技术方案为:系统包括:知识图谱数据库存储领域知识图谱的信息;分词和词性标注模块将用户问题进行分词并对其词性标注;实体识别与链接模块将用户问题中的实体进行识别并将实体链接到知识图谱数据库中的节点上;意图理解模块基于实体链接结果及分布式表示向量得到用户问题的意图理解结果;检索模块基于检索数据源,根据用户问题中的信息检索出对应的多个问答对作为粗选结果;排序模块利用实体的分布式表示向量对粗选结果进行重排序;语义匹配模块利用实体的分布式表示向量对重排序结果进行打分并最终输出答案。
-
公开(公告)号:CN109086268A
公开(公告)日:2018-12-25
申请号:CN201810770956.8
申请日:2018-07-13
Applicant: 上海乐言信息科技有限公司
Abstract: 本发明公开了一众基于迁移学习的领域文法学习系统和方法,将学习到的通用文法在多个子领域之间迁移,增强在多个子领域中对用户自言语言理解模型的性能。其技术方案为:用户查询模块,为系统提供输入,包括来自不同领域的用户查询语句和领域相关的词典;领域聚类转化模块,将多个领域相关的用户查询转化为领域无关或弱相关的查询,提取出公共部分,从而用来训练领域无关或弱相关的通用的文法模型用来共享通用的文法知识;文法模型模块,通过共享领域无关的文法知识,利用多领域的数据缓解切入新领域时由于标注数据少导致的模型性能不好的问题,并通过学习领域无关的文法模型,使得在一个领域学习到的模型更好的迁移到新的领域。
-
-
-
-
-
-
-
-
-