-
公开(公告)号:CN116456323B
公开(公告)日:2023-09-12
申请号:CN202310621756.7
申请日:2023-05-30
Applicant: 南京邮电大学
IPC: H04W8/18 , H04W4/50 , G06Q30/0601 , G06Q30/0282 , G06Q50/30 , G06F16/9535 , G06F16/9536 , G06N3/0442 , G06N3/045 , G06N3/048
Abstract: 本发明公开了一种基于用户偏好解耦的用户套餐推荐方法及系统,方法的步骤包括:采集用户的套餐订阅数据和满意度评分数据,建立用户套餐订阅数据集;构造三个嵌入表示来分别表征用户对于套餐中流量、语音和价格的偏好,并且从用户套餐订阅数据集中抽取特定数据来训练每个嵌入表示,使得每个嵌入表示只捕捉其中一种偏好;使用注意力机制自适应融合三个嵌入表示,得到用户总体偏好表征;基于用户总体偏好表征计算用户对于候选套餐的满意程度,并根据满意程度生成套餐推荐列表。本发明的方法将用户对于套餐中流量、语音和价格的偏好进行解耦,使得推荐结果更具可解释性,提升了个性化推荐服务的精准度。
-
公开(公告)号:CN116306780A
公开(公告)日:2023-06-23
申请号:CN202310525595.1
申请日:2023-05-11
Applicant: 南京邮电大学
IPC: G06N3/042 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/0475 , G06N3/048 , G06N3/094 , G06F18/214 , G06F18/243 , G06F123/02
Abstract: 本发明公开了一种动态图链接生成方法,所述方法包括:获取不同时刻的快照图;将所述不同时刻的快照图,输入至预设的生成对抗图胶囊网络模型中,得到下一时刻快照图之间的链接;其中,所述生成对抗图胶囊网络模型基于生成对抗网络进行双重训练得到的,所述生成对抗图胶囊网络模型采用样本集进行训练,所述样本集是基于每个动态离散快照图对应生成的拓扑结构得到的;所述生成对抗网络包括生成器和鉴别器,所述鉴别器用于对真实数据和生成的数据进行鉴别判断;所述生成器用于生成下一时刻快照图的拓扑结构。
-
公开(公告)号:CN116167014A
公开(公告)日:2023-05-26
申请号:CN202310167361.4
申请日:2023-02-27
Applicant: 南京邮电大学
IPC: G06F18/25 , G06F18/241 , G06N3/0464 , G06N3/048 , G06N3/084 , G06V10/44 , G06V10/764 , G06V10/82 , G06V10/80 , G10L25/63 , G10L25/03 , G10L25/30
Abstract: 本发明公开了一种基于视觉和语音的多模态关联型情感识别方法及系统,在视觉数据部分,提取指定数量的图像帧并调节为统一分辨率,利用3D卷积神经网络提取时序特征,得到指定尺寸的特征图;利用带滑动窗口的自注意力神经网络提取空间特征,将输出的特征图利用全局平均池化处理为指定大小的一维向量,得到视觉深层情感特征。在语音数据部分,使用声学分析框架提取声学特征,利用自注意力网络提取语音深层情感特征。最后将视觉和语音深层情感特征进行特征级融合,再通过分类器得到情感类型。本发明能够有效的提取视频数据在时间和空间维度的情感信息,并将视觉信息与语音信息相融合,提高了情感分类的识别效率与准确率。
-
公开(公告)号:CN119169135A
公开(公告)日:2024-12-20
申请号:CN202411307828.1
申请日:2024-09-19
Applicant: 南京邮电大学
IPC: G06T11/00 , G06V20/70 , G06T7/00 , G06T5/70 , G06T5/60 , G06N5/04 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06N3/084
Abstract: 本发明公开了一种基于协同关系感知的扩散模型食物生成方法及系统,涉及文本生成图像技术领域,包括:接收食物图像数据,将食物图像数据输入至预先建立的标注模型BLIP内进行文本标注,得到标注后的食物图像数据;将标注后的食物图像数据输入至预先建立的问答模型GPT4内对菜谱和图像进行关系提取,提取出每个食材和对应的烹饪动作,作为二元组;将二元组输入至预训练大模型CLIP的文本编码器内进行编码,将编码后的关系通过关系注入器输入至预先建立的主干扩散模型的交叉注意力层内,输出得到生成的食物图像;将生成的食物图像输入至预先建立的图像打分反馈模型内,得出图像打分分数,根据图像打分分数对生成的食物图像进行优化。
-
公开(公告)号:CN119106195A
公开(公告)日:2024-12-10
申请号:CN202411292182.4
申请日:2024-09-14
Applicant: 南京邮电大学
IPC: G06F16/9535 , G06N3/042 , G06N3/0895 , G06F18/214 , G06F18/2415
Abstract: 本发明公开一种基于主图学习技术的多媒体推荐方法与系统,属于数据挖掘领域;推荐方法包括:采集用户的行为数据以及对应的媒体内容数据,建立数据库;构建基于主图学习技术的多媒体推荐模型;使用用户的行为数据,基于贝叶斯个性化排序思想,训练推荐模型;根据建立好的数据库,使用训练好的基于主图学习技术的多媒体推荐模型,输出为每个用户推荐媒体信息;针对用户行为数据中存在着固有噪声和冗余信息的问题,采用基于主图学习技术挖掘用户的核心行为意图,更有效的建模了用户行为特征;同时构建了自监督学习辅助任务,促使提取的用户特征更贴合用户偏好,避免了用户特征被噪声行为污染,进一步增强用户特征的可辨别性。
-
公开(公告)号:CN113722528B
公开(公告)日:2024-06-25
申请号:CN202110885713.0
申请日:2021-08-03
Applicant: 南京邮电大学
IPC: G06F16/583 , G06F16/55 , G06V30/18
Abstract: 本发明公开了图像识别的跨模态分析技术领域的一种面向素描图进行照片快速检索的方法及系统。面向素描图进行照片快速检索的方法,包括:采集素描图;将素描图输入训练好的素描图检索模型,输出与输入的素描图相关度满足设定条件的照片;素描图检索模型首先利用域对抗子网络对来自两个领域的图像对齐特征分布;通过角度对抗子网络来避免不同拍摄视角造成的特征提取干扰,并为三元组网络和分类网络设计三元组损失和联合分类损失,分别用于跨模态特征和缩小素描‑照片对之间的距离;最后计算指定素描图与照片的相关度,相关度较大的照片即是此素描图的真实照片;能够在特征层面上解决领域和拍摄角度的变化,根据素描图准确在照片库中进行检索。
-
公开(公告)号:CN116415584A
公开(公告)日:2023-07-11
申请号:CN202310121606.X
申请日:2023-02-16
Applicant: 南京邮电大学
IPC: G06F40/295 , G06F16/33 , G06F16/35 , G06F18/214 , G06F18/241
Abstract: 本发明公开了一种基于域内实体替换的疫情中文数据增强方法,方法包括:获取关于疫情防护和诊疗的文本数据,并确定实体类型;根据确定的实体类型,对部分文本进行实体标注,将得到的标注好的文本数据放入模型中进行训练,并对剩余文本进行实体抽取;针对抽取得到的实体构建以标签为索引的实体数据库;基于所述实体数据库,对文本数据的文本进行域内的实体替换,得到增强后的文本数据。
-
公开(公告)号:CN116150418B
公开(公告)日:2023-07-07
申请号:CN202310424288.4
申请日:2023-04-20
Applicant: 南京邮电大学
IPC: G06F16/532 , G06F16/583 , G06F16/332 , G06F16/33 , G06F16/383 , G06F18/25 , G06F18/22 , G06V10/46 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0442 , G06N3/047 , G06N3/048
Abstract: 本发明公开了一种基于混合聚焦注意力机制的图文匹配方法及系统,方法包括以下步骤:步骤S1.提取图像中显著区域的特征以及自然语言描述中各个单词的特征;步骤S2.利用聚焦的跨模态注意力机制自适应地调整注意力机制对不同图片的温度系数,从而区分有效和无效的区域特征;步骤S3.利用门控的自注意力机制实现对区域特征和单词特征的模态内融合,通过门控信号控制自注意力矩阵自适应地选择有效的区域特征和单词特征;步骤S4.利用跨模态和自模态的区域特征和单词特征计算整个图像和句子的匹配分数。本发明可以实现图文间互相检索。
-
公开(公告)号:CN111325099B
公开(公告)日:2022-08-26
申请号:CN202010069598.5
申请日:2020-01-21
Applicant: 南京邮电大学
IPC: G06V40/20 , G06V10/764 , G06V10/82 , G06N3/04 , G06K9/62
Abstract: 本发明公开一种基于双流时空图卷积神经网络的手语识别方法及系统,首先,将手语动作视频切分为视频帧,提取手语动作视频片段中人物上半身和手部骨架点,并构建全局和局部图数据;利用双流时空图卷网络分别提取全局和局部时空特征,经过特征拼接得到全局‑局部特征;同时,将视频对应文本通过分词处理之后编码为词向量,并采用特征变换将二者映射到同一隐空间,利用动态时间规整算法进行模型训练;对全局‑局部特征序列,采用自注意力机制编解码网络对其进行序列化建模,解码器的输出采用softmax分类器获得每个视频片段所对应的单词,并组成相应文本句子。本发明能提高生成文本句子的准确率,在字幕生成、人机交互等场景中具有重要的应用价值。
-
公开(公告)号:CN113722528A
公开(公告)日:2021-11-30
申请号:CN202110885713.0
申请日:2021-08-03
Applicant: 南京邮电大学
IPC: G06F16/583 , G06F16/55 , G06K9/46
Abstract: 本发明公开了图像识别的跨模态分析技术领域的一种面向素描图进行照片快速检索的方法及系统。面向素描图进行照片快速检索的方法,包括:采集素描图;将素描图输入训练好的素描图检索模型,输出与输入的素描图相关度满足设定条件的照片;素描图检索模型首先利用域对抗子网络对来自两个领域的图像对齐特征分布;通过角度对抗子网络来避免不同拍摄视角造成的特征提取干扰,并为三元组网络和分类网络设计三元组损失和联合分类损失,分别用于跨模态特征和缩小素描‑照片对之间的距离;最后计算指定素描图与照片的相关度,相关度较大的照片即是此素描图的真实照片;能够在特征层面上解决领域和拍摄角度的变化,根据素描图准确在照片库中进行检索。
-
-
-
-
-
-
-
-
-