公开(公告)号：CN117909442A

公开(公告)日：2024-04-19

申请号：CN202211239666.3

申请日：2022-10-11

Applicant: 复旦大学 ,  中国航发四川燃气涡轮研究院

Inventor： 陈昱妍 ,  李直旭 ,  张聪 ,  梁家卿 ,  肖仰华

IPC: G06F16/33 ,  G06F16/332 ,  G06F40/242 ,  G06F40/247 ,  G06F40/30

Abstract: 本发明提供一种面向问答系统鲁棒性的知识丰富型问题生成方法及装置，获取待查询实体蒸馏后的事实描述、释义及近义词作为注入知识，利用编辑机制改写现有的问题来生成知识丰富型问题，即可使用不同类型的知识扩充原始问题，而不改变原始问题的含义，生成更多样化、更有意义的知识丰富型问题。进一步，本发明还启发性地为问答模型提供“诊断”信息，为每个注入知识提供一个动态权重，这使得问答模型更多地关注包含线索信息的问题部分，以预测正确答案，而对包含不相关信息的问题部分减少关注，因此通过动态调整权重，可以有效提升问答模型在知识丰富型问题和原始问题上的性能。

公开(公告)号：CN117391216A

公开(公告)日：2024-01-12

申请号：CN202311195451.0

申请日：2023-09-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  梁家卿 ,  肖仰华 ,  郭放

IPC: G06N20/00 ,  G06F40/20

Abstract: 本发明属于大规模语言模型技术领域，具体为大规模语言模型自适应提示增强方法。本发明针对NLP领域的LLMs优化原始提示，以使其在各种下游任务中表现更好；包括：针对不同的语言模型，生成最适合其特性的提示，以提高性能；通过引入强化学习等自动化或半自动化方法，实现提示优化流程的简化和高效化；建立训练数据集并利用强化学习等技术优化提示。其中结合有监督的微调、强化学习、PPO和RRHF等方法。本发明具有良好的鲁棒性和泛化性，并能在各种下游任务中改善语言模型的性能，可以有效地提升prompt的质量，使得大模型产生更准确的回答；可与现有的大规模语言模型结合使用，通过微调和优化提升特定任务的表现，具有广泛的可扩展性和适应性。

公开(公告)号：CN114510610A

公开(公告)日：2022-05-17

申请号：CN202210188998.7

申请日：2022-02-28

Applicant: 复旦大学

Inventor： 蒋雪瑶 ,  肖仰华 ,  李直旭 ,  梁家卿 ,  郭放

IPC: G06F16/901 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种面向多模态知识图谱构建的识别视觉概念的方法，第一次显式地提出在面向多模态知识图谱构建过程中有针对地识别视觉概念这一问题，将该问题建模为一个二分类问题，筛选并设计了解决该分类问题所需的特征数据，从而构建出了一个双流的含BERT模型和图像分类模型的多模态分类模型，用来编码和融合待测概念的文本特征和图像特征，从而达到区分视觉概念和非视觉概念的目的。同时，该多模态分类模型采用了二阶段的PULearning的训练方法，用纯自动化的方式实现了训练数据的初始化，用自训练的思想在迭代中自动化地有效地扩充训练数据集，在扩充的过程中也完全规避了人工的手段且提升了分类网络的准确率。

公开(公告)号：CN118779409A

公开(公告)日：2024-10-15

申请号：CN202310348845.9

申请日：2023-04-04

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  肖仰华 ,  郭放

IPC: G06F16/332 ,  G06F16/36 ,  G06F16/335 ,  G06N5/025 ,  G06N3/042 ,  G06N3/094

Abstract: 本发明提供了一种人设常识知识图谱、人设对话数据集以及人设一致方法，具有这样的特征，包括以下步骤：步骤S1，选取人类自身特性和日常生活内容中的人设属性设定为画像键；步骤S2，通过人工富集，从互联网平台搜索画像键对应的具体百科数据作为画像值；步骤S3，对所有画像键，将相互关联的两个不同画像键构成画像键对，得到多个画像键对；步骤S4，对每个画像键对，根据画像键对中两个画像键对应的画像值构建画像值对；步骤S5，根据画像值对，通过人工标注得到对应的画像，所有画像构成人设常识知识图谱。总之，本方法能够处理对话中存在的基于常识知识的隐式人设冲突。

公开(公告)号：CN118585649A

公开(公告)日：2024-09-03

申请号：CN202310191676.2

申请日：2023-03-02

Applicant: 复旦大学

Inventor： 肖仰华 ,  陈石松 ,  李直旭 ,  冯红伟

IPC: G06F16/36 ,  G06F16/35 ,  G06F40/279 ,  G06V30/10 ,  G06N5/022

Abstract: 本发明提供了一种基于内部资源和外部资源的教材智能解析系统及平台，用于根据数字教材、外部互联网的开放数据和基于开放数据的类型标签构建得到教材知识图谱，具有这样的特征，包括教材预处理模块、教材结构解析模块、内部资源链接模块、外部资源链接模块和教材知识图谱模块。总之，本方法能够能够构建具有高质量内外部资源的教材知识图谱，构建提供更丰富的数字教材相关信息的平台。

公开(公告)号：CN117998156A

公开(公告)日：2024-05-07

申请号：CN202410088250.9

申请日：2024-01-22

Applicant: 复旦大学

Inventor： 陈昱妍 ,  石庭豪 ,  李直旭 ,  肖仰华

IPC: H04N21/4788 ,  H04N21/4784 ,  H04N21/475 ,  H04N21/466

Abstract: 本发明公开的一种面向多模态应用的视频热门评论生成的方法，用于生成视频热门评论，本发明利用中文视频热门评论生成数据集HOTVCOM，包括视频标题、描述、字幕、音频内容、关键帧和互动信息；利用ComHeat的视频热门评论生成框架，本发明通过监督微调模型生成初步评论，并利用综合评估指标对初始评论进行更全面评估和排序，基于排序后的初始评论利用大语言模型训练奖励模型，有效地模拟了人类的偏好，并强化学习增强这些评论，提高生成评论的热度生成热门评论。

公开(公告)号：CN119338006A

公开(公告)日：2025-01-21

申请号：CN202411469124.4

申请日：2024-10-21

Applicant: 复旦大学

Inventor： 陈昱妍 ,  梁家卿 ,  李直旭 ,  肖仰华

IPC: G06N5/04 ,  G06F16/3329 ,  G06F16/334

Abstract: 本发明提供了一种大型语言模型答案幻觉减少的方法，具有这样的特征，包括步骤S1，根据现有数据构建包含多个幻觉类别的幻觉评估数据集；步骤S2，根据幻觉评估数据集对大语言模型的隐藏层和注意力头的输出进行分析，得到大语言模型对各个幻觉类别具有异常响应的隐藏层和注意力头，以及各个幻觉类别对应的高贡献词；步骤S3，将指定问题输入大语言模型，得到该大语言模型对该指定问题的答案选择概率以及该大语言模型的中间生成数据；步骤S4，根据高贡献词、中间生成数据、答案选择概率，结合具有异常响应的隐藏层和注意力头，通过选择函数计算得到答案选择概率对应的调整后概率。总之，本方法能够减少大语言模型生成幻觉。

公开(公告)号：CN117744626A

公开(公告)日：2024-03-22

申请号：CN202311195450.6

申请日：2023-09-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  梁家卿 ,  肖仰华 ,  郭放

IPC: G06F40/20 ,  G06F16/35 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明属于机器高阶认知技术领域，具体为机器高阶认知的预训练语言模型幽默回复能力增强方法。本发明方法包括：建立常规文本和幽默文本之间的联系，包括构建一个由若干条上文‑幽默回复组成的可解释数据集，每一个上文‑幽默回复对都有一个幽默链和幽默思维导图，展示生成幽默回复需要的知识和逻辑推理过程；评估和提高预训练语言模型的幽默回复能力，包括设计幽默情感风格分类任务和幽默改写任务，作为以多任务训练的方式辅助幽默回复；设计编码器‑解码器框架，将幽默链和幽默思维导图注入预训练语言模型中，并基于多任务学习的方式利用两个辅助任务增强预训练语言模型的幽默回复能力。本发明可大大增强预训练语言模型的幽默回复能力。

公开(公告)号：CN117709469A

公开(公告)日：2024-03-15

申请号：CN202311856150.8

申请日：2023-12-29

Applicant: 复旦大学

Inventor： 陈昱妍 ,  肖仰华 ,  李直旭

IPC: G06N5/04 ,  G06N3/092 ,  G06N3/09 ,  G06F16/332

Abstract: 本发明提供了一种非线性推理任务的解决方案生成方法及装置，具有这样的特征，包括提问模块用于根据指定横向谜题、历史问题‑答案序列和上一轮线索生成模块生成的线索，生成对应的问题，回答模块用于根据本轮问题生成对应的回答，并将回答与对应的问题加入历史问题‑答案序列作为下一轮历史问题‑答案序列，线索生成模块用于连续多轮对应的回答均非“是”时，生成线索作为下一轮提问模块的输入，分数计算模块用于对本轮的问题和指定横向谜题进行重叠分数计算，得到重叠分数，判断模块用于判断重叠分数是否大于预设阈值，若是，则将问题作为解决方案，若否，则将问题输入回答模块。总之，本方法能够根据问题生成较好的基于横向思维的解决方案。

公开(公告)号：CN117708301A

公开(公告)日：2024-03-15

申请号：CN202311856149.5

申请日：2023-12-29

Applicant: 复旦大学

Inventor： 陈昱妍 ,  肖仰华 ,  石庭豪 ,  李直旭

IPC: G06F16/332 ,  G16H10/00 ,  G06N3/092 ,  G06N20/00

Abstract: 本发明提供了一种面向医疗对话的时间感知增强回复生成方法及装置，具有这样的特征，包括步骤S1，根据现有的医疗数据构建时间感知多轮对话数据集；步骤S2，根据时间感知多轮对话数据集对现有的医疗大型语言模型进行训练，得到医疗对话模型；步骤S3，对对话序列进行编码，得到编码状态表示；步骤S4，对历史对话进行编码，得到编码记忆向量；步骤S5，将编码状态表示和编码记忆向量进行结合，得到融合状态表示；步骤S6，根据时间注意力机制对融合状态表示进行增强，得到增强状态表示；步骤S7，将当前提问和增强状态表示输入医疗对话模型，得到医疗对话回复。总之，本方法能够处理与时间相关的医疗对话并生成具有时间感知的回复。