公开(公告)号：CN116939320A

公开(公告)日：2023-10-24

申请号：CN202310687966.6

申请日：2023-06-12

Applicant: 南京邮电大学

Inventor： 吴伟 ,  陈元乐 ,  刘纯玉 ,  熊师洵 ,  周福辉 ,  吴启晖

IPC: H04N21/80 ,  H04N21/233 ,  H04N21/234 ,  H04N21/2343 ,  H04N21/2383 ,  H04N21/439 ,  H04N21/44 ,  H04N21/4402 ,  H04N21/438 ,  G06F18/25 ,  G06N3/048 ,  G06N3/0475 ,  G06N3/0499 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/09

Abstract: 本发明公开了一种生成式多模态互利增强视频语义通信方法，称为MME‑SC。该方法建立在条件生成对抗网络(CGAN)的基础上，旨在使用文本作为主要传输载体，利用不同模态之间的互利增强来实现目标语义信息的精准提取，从而完成视频传输任务。在多模态互利增强网络的帮助下，我们从视频的关键帧图像和音频中提取语义信息，并进行差值处理，以确保提取的文本以更少的比特传达准确的语义信息，从而提高系统的容量。此外，本发明设计了一个多帧语义检测模块，以督促视频生成过程中的语义过渡。仿真结果表明，本发明出的框架在复杂噪声环境中对视频的传输具有较高的鲁棒性，特别是在低信噪比条件下，显著提高了视频通信中语义传输的准确性和符号传输速率。

公开(公告)号：CN116308652A

公开(公告)日：2023-06-23

申请号：CN202310241996.4

申请日：2023-03-14

Applicant: 南京邮电大学

Inventor： 吴伟 ,  刘纯玉 ,  毛航涛 ,  周福辉

IPC: G06Q30/0601 ,  G06N5/02 ,  G06N3/0464

Abstract: 本发明公开了一种基于商品知识图谱和用户社交图谱的推荐系统和方法，包括初始嵌入模块、图注意力卷积模块和预测模块。初始嵌入模块是将商品知识图谱嵌入到用户‑商品交互图谱中，形成协同知识图谱，再将协同知识图谱中的节点嵌入到服从均值为0，方差为0.01正态分布的64维向量空间。再利用TransR模型捕获结点间的语义关系。图注意力卷积模块是将初始嵌入模块得到的向量表示作为输入，根据协同知识图谱和用户社交图谱的邻接矩阵，进行卷积操作。预测模块是系统的输出模块，根据图注意力卷积模块捕捉的用户和商品隐藏关系，借助点积操作，实现商品推荐。本发明提升了推荐性能如推荐准确率(Precision)、召回率(Recall)和归一化折损累计增益(NDCG)，并且提高了模型可解释性。

公开(公告)号：CN116939320B

公开(公告)日：2024-06-18

申请号：CN202310687966.6

申请日：2023-06-12

Applicant: 南京邮电大学

Inventor： 吴伟 ,  陈元乐 ,  刘纯玉 ,  熊师洵 ,  周福辉 ,  吴启晖

IPC: H04N21/80 ,  H04N21/233 ,  H04N21/234 ,  H04N21/2343 ,  H04N21/2383 ,  H04N21/439 ,  H04N21/44 ,  H04N21/4402 ,  H04N21/438 ,  G06F18/25 ,  G06N3/048 ,  G06N3/0475 ,  G06N3/0499 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/09

Abstract: 本发明公开了一种生成式多模态互利增强视频语义通信方法，称为MME‑SC。该方法建立在条件生成对抗网络(CGAN)的基础上，旨在使用文本作为主要传输载体，利用不同模态之间的互利增强来实现目标语义信息的精准提取，从而完成视频传输任务。在多模态互利增强网络的帮助下，我们从视频的关键帧图像和音频中提取语义信息，并进行差值处理，以确保提取的文本以更少的比特传达准确的语义信息，从而提高系统的容量。此外，本发明设计了一个多帧语义检测模块，以督促视频生成过程中的语义过渡。仿真结果表明，本发明出的框架在复杂噪声环境中对视频的传输具有较高的鲁棒性，特别是在低信噪比条件下，显著提高了视频通信中语义传输的准确性和符号传输速率。

公开(公告)号：CN117077786A

公开(公告)日：2023-11-17

申请号：CN202310829332.X

申请日：2023-07-07

Applicant: 南京邮电大学

Inventor： 吴伟 ,  刘纯玉 ,  周福辉

IPC: G06N5/04 ,  G06N5/022 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/047 ,  G06N3/048 ,  G06N3/092 ,  G06N3/088 ,  G06N3/084 ,  G06N3/0985 ,  G06F16/332 ,  G06F16/33 ,  G06F16/36 ,  G06F40/295 ,  G06F40/216 ,  G16H50/20 ,  G16H20/00

Abstract: 本发明公开了一种基于知识图谱的数据知识双驱动智能医疗对话系统和方法，包括医疗命名实体识别模块、医疗知识图谱匹配模块、知识实体采样模块、大型语言模型微调模块和对话生成模块。系统通过医疗命名实体识别模块提取患者问题中医疗命名实体，并将其输入医疗知识图谱匹配模块匹配知识实体以获取专业医学背景知识；知识实体采样模块选择与问题最相关的知识实体，减少不相关知识实体对答案生成影响；接下来，将问题和采样得到知识实体一同输入大型语言模型进行微调训练；最后通过对话生成模块输出回答。该方法双语评价标准(BLEU)和自动摘要评估标准(ROUGE)上表现出更高得分，生成的答案更接近人类医生水平。本发明显著提升了医疗对话系统的实用性。