公开(公告)号：CN117112902A

公开(公告)日：2023-11-24

申请号：CN202311106875.5

申请日：2023-08-30

Applicant: 南京大学

Inventor： 詹德川 ,  叶翰嘉 ,  韩路 ,  陶博文 ,  周志华

IPC: G06F16/9535 ,  G06Q30/0601 ,  G06N20/00

Abstract: 本发明公开一种基于多模态对比学习算法的离线强化学习商品推荐系统，首先获取商品的相关图像、描述商品的文字以及其他商品的相关特征，通过对比学习算法融合多个模态的信息，得到商品的特征表示；将商品推荐过程建模为强化学习问题，通过用户曾经产生行为的商品特征和用户的基本信息得到用户的状态，系统推荐的商品作为动作，用户对于推荐的商品的反馈作为奖赏。利用离线强化学习算法在现有用户行为日志数据上进行训练，得到推荐系统的策略。本发明利用对比学习算法综合多个模态的信息构造物品的特征，在将推荐系统建模为强化学习问题的前提下，通过离线强化学习算法得到了推荐策略，使得商品推荐系统能够更好地完成推荐任务。

公开(公告)号：CN117575729A

公开(公告)日：2024-02-20

申请号：CN202311531198.1

申请日：2023-11-16

Applicant: 南京大学

Inventor： 詹德川 ,  叶翰嘉 ,  韩路 ,  孙海航 ,  周志华

IPC: G06Q30/0601 ,  G06F18/22 ,  G06F18/214 ,  G06N20/00

Abstract: 本发明公开一种基于表示与度量的用户个性化强化学习推荐系统，使用代表一般用户偏好的数据集和预训练模型进行初始化，并按时间步收集用户数据并更新强化学习模型。使用图像数据代表商品，将用户的操作历史通过表示学习方法得到便于计算和度量的表示，根据用户历史数据，按照强化学习策略给出推荐商品集，并依照用户的点击行为与界面浏览时间计算出奖励值。将表示、推荐商品集和奖励值拼接起来，存储到回放缓存中，度量缓存中数据与当前观测值的相似度并采样相似度较高的缓存序列，进一步更新强化学习的策略，以实现持续地与用户交互并给出推荐。本发明考虑商品的图像输入，提高了缓存中历史数据与同策略行为的相似度，有利于实现用户的个性化推荐。

公开(公告)号：CN113989556A

公开(公告)日：2022-01-28

申请号：CN202111253761.4

申请日：2021-10-27

Applicant: 南京大学

Inventor： 叶翰嘉 ,  韩路 ,  詹德川 ,  余果 ,  姜远

IPC: G06V10/764 ,  G06V10/774 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种小样本医学影像分类方法和系统，该方法包括图像收集、无监督特征训练、基于小样本的模型生成；首先从网络或者其他渠道，收集多种医学影像数据；然后利用采集的图像，使用基于混合困难近邻的无监督特征方法得到一个具有泛化性的预训练模型；在小样本场景下，使用预训练模型提取不同类的样本特征，根据特征计算类原型，在后续分类任务中，选取相似性最高的原型所处的类，作为新样本的预测类别。本发明不依赖于样本标记，使用无监督学习方法迁移知识，在保证准确率的前提下，大大减少样本获取成本和标注成本。

公开(公告)号：CN117350812A

公开(公告)日：2024-01-05

申请号：CN202311337786.1

申请日：2023-10-17

Applicant: 南京大学

Inventor： 詹德川 ,  叶翰嘉 ,  韩路 ,  邵明浩 ,  周志华

IPC: G06Q30/0601 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/092 ,  G06N3/096 ,  G06F18/214 ,  G06F18/25

Abstract: 本发明公开一种基于对比学习和有模型强化学习的多模态商品推荐系统。首先，获取推荐系统中的商品图像、文字和标签的多模态数据，以及已经收集的用户行为数据，通过以对比学习为主的无监督学习方法构建商品特征；接着，利用构建好的商品特征以及用户行为数据构建用户特征作为状态，定义推荐商品为动作以及用户反馈为环境奖赏，训练离线强化学习模型；最后，将该模型作为预训练模型，部署到真实场景，当系统收集到新的用户行为数据时，及时更新模型。本发明利用强化学习的框架，应用对比学习多模态任务，综合大量商品与用户购物信息，构建了用户与推荐系统交互的马尔可夫过程，提升了推荐系统的精准性。

公开(公告)号：CN113989556B

公开(公告)日：2024-04-09

申请号：CN202111253761.4

申请日：2021-10-27

Applicant: 南京大学

Inventor： 叶翰嘉 ,  韩路 ,  詹德川 ,  余果 ,  姜远

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/088 ,  G06N3/0464

Abstract: 本发明公开一种小样本医学影像分类方法和系统，该方法包括图像收集、无监督特征训练、基于小样本的模型生成；首先从网络或者其他渠道，收集多种医学影像数据；然后利用采集的图像，使用基于混合困难近邻的无监督特征方法得到一个具有泛化性的预训练模型；在小样本场景下，使用预训练模型提取不同类的样本特征，根据特征计算类原型，在后续分类任务中，选取相似性最高的原型所处的类，作为新样本的预测类别。本发明不依赖于样本标记，使用无监督学习方法迁移知识，在保证准确率的前提下，大大减少样本获取成本和标注成本。

公开(公告)号：CN117575730A

公开(公告)日：2024-02-20

申请号：CN202311531235.9

申请日：2023-11-16

Applicant: 南京大学

Inventor： 詹德川 ,  叶翰嘉 ,  韩路 ,  黄楷宸 ,  周志华

IPC: G06Q30/0601 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明公开一种基于离散表征强化学习的商品推荐系统，将商品图像输入卷积神经网络，得到m个向量作为初级表征；初始化N个基底向量，对m个表征向量中的每一个向量，找出与其距离最近的基底向量j，得到商品的离散表征；将商品编码为m维的向量v_i，将用户的历史信息编码为m维的向量s_i，使用v_i和s_i的内积刻画用户对商品的感兴趣程度；使用S4 Layer来建模状态转移函数，输入当前时刻用户信息以及选择的商品，对网络参数进行更新，得到最终的策略网络；对于目标用户，利用训练好的策略网络中；取最大的K个概率值及其对应的商品，推荐给用户。本发明使用强化学习来刻画用户对商品的感兴趣程度，提高推荐准确率。

公开(公告)号：CN114757256A

公开(公告)日：2022-07-15

申请号：CN202210173217.7

申请日：2022-02-24

Applicant: 南京大学

Inventor： 叶翰嘉 ,  詹德川 ,  周志华 ,  韩路

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明公开了一种包含未见软件数据的半监督业务感知训练推理方法和系统，应用于通信领域，包括样机信号搜集步骤、业务感知模型预训练步骤、业务感知模型半监督训练步骤和业务感知模型推理步骤；所述样机信号搜集步骤中，通过部署样机搜集业务APP以及其他各种未见APP传输的通信包信号；所述业务感知模型预训练步骤和业务感知模型半监督训练步骤分别利用收集到的业务APP和未见APP通信包数据通过提出的半监督学习技术训练一个业务感知模型；所述业务感知模型推理步骤中，将业务感知模型部署进行推理使用。本发明引入大量未见APP的通讯数据帮助业务APP的感知模型训练，可以大幅度提升业务感知模型的泛化性能，易于实现部署且适用性强。