公开(公告)号：CN111914062A

公开(公告)日：2020-11-10

申请号：CN202010670132.0

申请日：2020-07-13

Applicant: 上海乐言信息科技有限公司

Inventor： 朱其立 ,  沈李斌 ,  张盛瑶 ,  郭子路 ,  李恺健 ,  奚宁 ,  李波

IPC: G06F16/33 ,  G06F16/332 ,  G06F16/35 ,  G06F40/289 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于关键词的长文本问答对生成系统，实现根据文本及关键词生成与关键词相关且有意义的问答对。其技术方案为：系统包括生成模块和评估模块，生成模块针对段落及关键词生成与关键词相关的问答对，评估模块通过自动评估方式评价问答对质量。生成模块基于三阶段生成模型生成问答对：依次串联的段落检索单元、答案范围提取单元以及问题生成单元。其中段落检索单元用于基于信息检索模型，根据关键词从文本中检索出候选问答对在长文本中所处的候选段落；答案范围提取单元用于从候选段落中提取出可能存在的答案范围；问题生成单元根据候选段落和答案范围中的其中一个答案，生成问题并和答案组成与关键词相关的问答对。

公开(公告)号：CN113961698B

公开(公告)日：2025-03-18

申请号：CN202010681562.2

申请日：2020-07-15

Applicant: 上海乐言信息科技有限公司 ,  上海科技大学

Inventor： 屠可伟 ,  沈李斌 ,  蒋承越 ,  奚宁 ,  李波

IPC: G06F16/35 ,  G06F16/334 ,  G06F18/241 ,  G06N3/044 ,  G06N3/08

Abstract: 本发明公开了一种基于神经网络模型的意图分类方法，包括：获取意图分类任务数据；针对意图分类数据集撰写正则表达式规则以及对应的逻辑甄选操作；将正则表达式转换为有限状态自动机；将有限状态自动机转换为三维张量；利用张量分解方法分解三维张量，得到三个矩阵初始化TFRNN的参数；初始化逻辑甄选层的参数，将逻辑甄选层和TFRNN构成意图分类模型；将意图分类任务数据输入意图分类模型进行训练，输出意图分类结果。该方法将正则表达式转化为其对应的循环神经网络形式，将这个神经网络正确地初始化，使得在未训练的时候运行神经网络等价于直接运行正则表达式。循环神经网络经过训练后具备非常强的可解释性。

公开(公告)号：CN113961664A

公开(公告)日：2022-01-21

申请号：CN202010680740.X

申请日：2020-07-15

Applicant: 上海乐言信息科技有限公司 ,  上海科技大学

Inventor： 沈李斌 ,  屠可伟 ,  蒋承越 ,  奚宁 ,  李波

IPC: G06F16/33 ,  G06F16/35 ,  G06F40/289 ,  G06K9/62

Abstract: 本发明公开了基于深度学习的数值词处理系统，包括：原型词确定模块从语料中找到具有代表性的原型词集合；训练模块包括判断单元、差值单元和数值词训练单元；判断单元判断原型词集合中的词是否为数值词；差值单元用于从原型词集合中采用差值方法来表示任意数值词的词向量；所述数值词训练单元将该数值词利用原型词集合以及插值函数进行插值，得到数值词表示；将得到的数值词表示输入SkipGram训练模块进行训练，训练得到原型数值词词向量。通过在语料中找到具有代表性的原型词集合，利用差值方法从有限的原型词表示任意的数值词，将数值词输入SkipGram训练模块训练，输出高质量的原型数值词词向量。

公开(公告)号：CN113961698A

公开(公告)日：2022-01-21

申请号：CN202010681562.2

申请日：2020-07-15

Applicant: 上海乐言信息科技有限公司 ,  上海科技大学

Inventor： 屠可伟 ,  沈李斌 ,  蒋承越 ,  奚宁 ,  李波

IPC: G06F16/35 ,  G06F16/33 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于神经网络模型的意图分类方法，包括：获取意图分类任务数据；针对意图分类数据集撰写正则表达式规则以及对应的逻辑甄选操作；将正则表达式转换为有限状态自动机；将有限状态自动机转换为三维张量；利用张量分解方法分解三维张量，得到三个矩阵初始化TFRNN的参数；初始化逻辑甄选层的参数，将逻辑甄选层和TFRNN构成意图分类模型；将意图分类任务数据输入意图分类模型进行训练，输出意图分类结果。该方法将正则表达式转化为其对应的循环神经网络形式，将这个神经网络正确地初始化，使得在未训练的时候运行神经网络等价于直接运行正则表达式。循环神经网络经过训练后具备非常强的可解释性。

公开(公告)号：CN111581470A

公开(公告)日：2020-08-25

申请号：CN202010415082.1

申请日：2020-05-15

Applicant: 上海乐言信息科技有限公司

Inventor： 王钦龙 ,  沈李斌 ,  赵迎功 ,  李波 ,  吴海华

IPC: G06F16/906 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种用于对话系统情景匹配的多模态融合学习分析方法和系统，能够提高场景匹配率，提升用户体验，更加智能理解用户需求。其技术方案为：本发明处理和理解多源模态信息，分别对图像信息、音频信息和文本信息进行特征抽取得到各自特征的向量化表达，再将这些向量化表达通过注意力机制对不同模态的动态权重进行学习调整，同时对场景定义也进行特征抽取以得到其向量化表达，再将注意力机制加权后的输出向量和场景定义特征抽取后的输出向量，通过全连接层将这两个向量进行进一步的映射以进行转换，实现最终的分类决策动作。