公开(公告)号：CN118673117A

公开(公告)日：2024-09-20

申请号：CN202410780037.4

申请日：2024-06-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李玥泽 ,  梁家卿 ,  肖仰华

IPC: G06F16/332 ,  G06F40/30 ,  G06F16/35

Abstract: 本发明提供了一种大语言模型情感认知能力的评测装置，具有这样的特征，包括评测数据生成模块，用于待评估大语言模型生成各个测试陈述对应的回复语句；关键事件识别评估模块，用于对各个关键事件回复语句分别进行评估，得到关键事件评估分数；混合事件识别评估模块，用于对各个混合事件回复语句分别进行评估，得到混合事件评估分数；隐含情感识别评估模块，用于对各个隐含情感回复语句分别进行评估，得到隐含情感评估分数；意图识别评估模块，用于对各个意图回复语句分别进行评估，得到意图评估分数；综合评估计算模块，用于计算得到综合评估分数。总之，本装置能够得到全面客观的大语言模型情感认知能力的量化结果。

公开(公告)号：CN117909442A

公开(公告)日：2024-04-19

申请号：CN202211239666.3

申请日：2022-10-11

Applicant: 复旦大学 ,  中国航发四川燃气涡轮研究院

Inventor： 陈昱妍 ,  李直旭 ,  张聪 ,  梁家卿 ,  肖仰华

IPC: G06F16/33 ,  G06F16/332 ,  G06F40/242 ,  G06F40/247 ,  G06F40/30

Abstract: 本发明提供一种面向问答系统鲁棒性的知识丰富型问题生成方法及装置，获取待查询实体蒸馏后的事实描述、释义及近义词作为注入知识，利用编辑机制改写现有的问题来生成知识丰富型问题，即可使用不同类型的知识扩充原始问题，而不改变原始问题的含义，生成更多样化、更有意义的知识丰富型问题。进一步，本发明还启发性地为问答模型提供“诊断”信息，为每个注入知识提供一个动态权重，这使得问答模型更多地关注包含线索信息的问题部分，以预测正确答案，而对包含不相关信息的问题部分减少关注，因此通过动态调整权重，可以有效提升问答模型在知识丰富型问题和原始问题上的性能。

公开(公告)号：CN117391216A

公开(公告)日：2024-01-12

申请号：CN202311195451.0

申请日：2023-09-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  梁家卿 ,  肖仰华 ,  郭放

IPC: G06N20/00 ,  G06F40/20

Abstract: 本发明属于大规模语言模型技术领域，具体为大规模语言模型自适应提示增强方法。本发明针对NLP领域的LLMs优化原始提示，以使其在各种下游任务中表现更好；包括：针对不同的语言模型，生成最适合其特性的提示，以提高性能；通过引入强化学习等自动化或半自动化方法，实现提示优化流程的简化和高效化；建立训练数据集并利用强化学习等技术优化提示。其中结合有监督的微调、强化学习、PPO和RRHF等方法。本发明具有良好的鲁棒性和泛化性，并能在各种下游任务中改善语言模型的性能，可以有效地提升prompt的质量，使得大模型产生更准确的回答；可与现有的大规模语言模型结合使用，通过微调和优化提升特定任务的表现，具有广泛的可扩展性和适应性。

公开(公告)号：CN119248910A

公开(公告)日：2025-01-03

申请号：CN202410780038.9

申请日：2024-06-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李玥泽 ,  梁家卿 ,  肖仰华

IPC: G06F16/332 ,  G06Q50/20 ,  G06Q10/0639

Abstract: 本发明提供了一种面向教育的大语言模型提问能力评测装置，具有这样的特征，包括：数据存储模块用于存储多个普通领域上下文、专业学科领域上下文和跨学科领域上下文；普通领域问题生成模块用于生成六级普通领域问题；专业学科领域问题生成模块用于生成六级专科领域问题；跨学科领域问题生成模块用于生成跨学科问题；普通领域评估模块用于根据所有六级普通领域问题得到普通领域提问能力结果；专业学科领域评估模块用于根据所有六级专科领域问题得到专科领域提问能力结果；跨学科领域评估模块用于根据所有跨学科问题得到跨学科领域提问能力结果。总之，本装置能够从普通、专业学科和跨学科三个领域分别量化评估大语言模型的教学提问能力。

公开(公告)号：CN118467725A

公开(公告)日：2024-08-09

申请号：CN202310090342.6

申请日：2023-02-09

Applicant: 复旦大学

Inventor： 陈昱妍 ,  肖仰华 ,  李直旭

IPC: G06F16/35 ,  G06F18/24 ,  G06N3/0442 ,  G06N3/047 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提供一种面向多标签文本分类的知识增强型文档‑标签注意力方法，首先创新性地挖掘并选择多标签文档的外部知识，以丰富文档内容，并将文档与知识联合进行编码和训练，提高文档和知识之间潜在语义的交互性。同时还对构建的标签集进行嵌入，从而捕获每个文档对应标签集之间的上下文关系。之后，基于文档‑知识‑标签的全局注意力机制，即为文档‑标签对和知识‑标签对采用加权注意力机制来融合文档、知识和标签之间的全局信息，分配权重以获得依赖和独立的标签表示，从而捕获文档、知识分别与标签集之间的交互特征。最后基于文档、知识和标签的全局表示来预测每个文档的所有标签。该方法解决了多标签文本分类中文档不丰富和标签依赖性的问题。

公开(公告)号：CN117708318A

公开(公告)日：2024-03-15

申请号：CN202311856147.6

申请日：2023-12-29

Applicant: 复旦大学

Inventor： 陈昱妍 ,  肖仰华 ,  李直旭 ,  郭放

IPC: G06F16/34 ,  G06F16/33 ,  G06F40/289 ,  G06N20/00 ,  G06N3/092

Abstract: 本发明提供了一种具有图像子图数量适应性的模因图配文生成方法及装置，具有这样的特征，包括：步骤S1，根据现有的多个模因图构建中文模因数据集，中文模因数据集包括多个图片和配文；步骤S2，根据中文模因数据集对现有的大语言模型进行训练，得到最终大语言模型和强化学习模型；步骤S3，将指定图像输入现有的多模态大模型，得到指定幽默链和指定图像特征；步骤S4，将指定幽默链和指定图像特征输入最终大语言模型，得到初始配文；步骤S5，将初始配文输入强化学习模型，得到最终配文。总之，本方法能够生成更匹配模因图的幽默配文。

公开(公告)号：CN118779409A

公开(公告)日：2024-10-15

申请号：CN202310348845.9

申请日：2023-04-04

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  肖仰华 ,  郭放

IPC: G06F16/332 ,  G06F16/36 ,  G06F16/335 ,  G06N5/025 ,  G06N3/042 ,  G06N3/094

Abstract: 本发明提供了一种人设常识知识图谱、人设对话数据集以及人设一致方法，具有这样的特征，包括以下步骤：步骤S1，选取人类自身特性和日常生活内容中的人设属性设定为画像键；步骤S2，通过人工富集，从互联网平台搜索画像键对应的具体百科数据作为画像值；步骤S3，对所有画像键，将相互关联的两个不同画像键构成画像键对，得到多个画像键对；步骤S4，对每个画像键对，根据画像键对中两个画像键对应的画像值构建画像值对；步骤S5，根据画像值对，通过人工标注得到对应的画像，所有画像构成人设常识知识图谱。总之，本方法能够处理对话中存在的基于常识知识的隐式人设冲突。

公开(公告)号：CN117998156A

公开(公告)日：2024-05-07

申请号：CN202410088250.9

申请日：2024-01-22

Applicant: 复旦大学

Inventor： 陈昱妍 ,  石庭豪 ,  李直旭 ,  肖仰华

IPC: H04N21/4788 ,  H04N21/4784 ,  H04N21/475 ,  H04N21/466

Abstract: 本发明公开的一种面向多模态应用的视频热门评论生成的方法，用于生成视频热门评论，本发明利用中文视频热门评论生成数据集HOTVCOM，包括视频标题、描述、字幕、音频内容、关键帧和互动信息；利用ComHeat的视频热门评论生成框架，本发明通过监督微调模型生成初步评论，并利用综合评估指标对初始评论进行更全面评估和排序，基于排序后的初始评论利用大语言模型训练奖励模型，有效地模拟了人类的偏好，并强化学习增强这些评论，提高生成评论的热度生成热门评论。

公开(公告)号：CN118800219A

公开(公告)日：2024-10-18

申请号：CN202310400899.5

申请日：2023-04-14

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  肖仰华 ,  樊哿

IPC: G10L15/06 ,  G10L15/16

Abstract: 本发明提供了一种面向预训练语言模型微调的参数高效型适配器微调方法，具有这样的特征，包括以下步骤：步骤S1，将预训练语言模型中除分类器模块外的其他参数进行冻结；步骤S2，根据训练数据集和给定下游任务对分类器模块进行反向传播和梯度更新，得到训练好的分类器模块；步骤S3，在预训练语言模型的每层自注意力的后面分别插入适配器；步骤S4，将预训练语言模型的各个适配器和归一化模块解冻，并将其他参数冻结；步骤S5，根据训练数据集对各个适配器和归一化模块进行微调，得到微调好的预训练语言模型；步骤S6，将待分类数据输入预训练语言模型得到分类结果。总之，本方法能够提高预训练语言模型微调的参数效率。

公开(公告)号：CN118484505A

公开(公告)日：2024-08-13

申请号：CN202310098163.7

申请日：2023-02-10

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  梁家卿 ,  肖仰华

IPC: G06F16/33 ,  G06F16/35 ,  G06F18/214

Abstract: 本发明提供一种探索预训练语言模型幽默理解能力的方法，能够系统性地指导幽默生成任务。该方法采用人机结合的幽默理解评估机制，对预训练语言模型进行幽默识别、幽默类型分类、幽默等级分类和笑点检测四个维度的幽默评估。在该方法中，基于幽默理解评估机制不仅探测了原始预训练语言模型的幽默理解能力，以此评估该原始预训练语言模型是否能够在微调之前或之后理解幽默。还探测了知识增强下预训练语言模型的幽默理解能力，从而评估外部知识是否有助于提高预训练语言模型的幽默理解能力。同时，还对预训练语言模型的幽默理解能力评估结果进行解释，以预训练语言模型是否能够检测出可解释的线索词来理解幽默三个角度来探测语言模型的幽默理解能力。