公开(公告)号：CN116701785A

公开(公告)日：2023-09-05

申请号：CN202310652386.3

申请日：2023-06-02

Applicant: 华北水利水电大学

Inventor： 吴慧欣 ,  王喆 ,  李家辉 ,  乔亚琼 ,  陈继坤 ,  杨梦凡 ,  马琳 ,  安丽鑫

IPC: G06F16/9537 ,  G06F16/9536 ,  G06F16/906 ,  G06F16/29

Abstract: 本发明提供一种基于CDN标记的社交媒体用户位置推断方法。该方法包括：步骤1：接收社交媒体客户端的媒体内容发布请求，使用CDN服务器和远程服务器按照预设的媒体内容发布方式对所述媒体内容进行发布以收集网络特征；步骤2：基于网络特征对具有相同网络特征的用户进行聚类；步骤3：根据聚类结果推断出目标用户的位置信息。本发明充分利用本地、异地CDN服务器的差异，从CDN服务器的处理日志中挖掘用户的网络特征，进而根据网络特征推断用户所在地理位置，摆脱对IP数据库的依赖，解决人为改变IP地址影响地理位置判定的问题。

公开(公告)号：CN118194962A

公开(公告)日：2024-06-14

申请号：CN202311209098.7

申请日：2023-09-19

Applicant: 华北水利水电大学

Inventor： 乔亚琼 ,  李柱洲 ,  魏富鹏 ,  韩珂 ,  焦奥博 ,  魏琼亚 ,  朱帅辉

IPC: G06N3/0895 ,  G06N3/0464 ,  G06N3/042 ,  G06F17/16 ,  G06F18/241 ,  G06Q50/00

Abstract: 本发明提出了一种基于半监督学习的社交媒体用户定位方法，步骤为：选取真实的推特数据作为数据集，并对数据集进行预处理；采用TF‑IDF算法提取预处理后的文本数据的文本特征，构建用户文本视图；根据用户之间的社交关系构建用户的社交关系图；利用图卷积扩散算法改进社交关系图，得到稀疏图；根据用户文本视图和稀疏图，基于GCN构建用户定位模型；利用数据集对用户定位模型进行训练；将测试数据输入训练后的用户定位模型，用户定位模型的softmax层输出预测得到的用户地理位置标签。本发明能够结合大量不带地理标记的数据对用户位置进行预测；同时结合图卷积扩散算法对构造的社交关系图进行改进，从而提高地理定位的准确性。

公开(公告)号：CN117574904A

公开(公告)日：2024-02-20

申请号：CN202311638025.X

申请日：2023-12-02

Applicant: 嵩山实验室 ,  郑州轻工业大学 ,  华北水利水电大学

Inventor： 马江涛 ,  乔亚琼 ,  王艳军 ,  晋文朵 ,  钱慎一 ,  张帆 ,  李祖贺 ,  马宇科 ,  程佳 ,  李霆 ,  李坤霖 ,  刘博 ,  卫梦屹 ,  孙一帆

IPC: G06F40/295 ,  G06F40/211 ,  G06F40/216 ,  G06F18/25 ,  G06F18/214 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/0895 ,  G06V10/30 ,  G06V10/44

Abstract: 本发明提出了一种基于对比学习和多模态语义交互的命名实体识别方法，步骤为：使用MobileViT模型对文本‑图像对的图像进行图像特征提取得到图像表示；使用图像描述生成模型生成图像描述，使用ALBERT模型对文本和图像描述进行文本特征提取得到文本表示；通过对比学习在共享空间中对齐文本表示和图像表示；采用多头跨模态注意力通过图像描述来引导文本融合，给图像表示分配不同的权重进行文本引导的图像模态融合；拼接，到图像与文本的最终融合；将最终融合输入到CRF层使用条件随机场算法进行标签预测得到标签值。本发明实现了文本和图像之间语义信息的有效融合，同时抑制了多模态交互中的不完整或错误的语义信息，提高了预测的准确性。

公开(公告)号：CN117312577A

公开(公告)日：2023-12-29

申请号：CN202311480464.2

申请日：2023-11-08

Applicant: 华北水利水电大学 ,  中原工学院

Inventor： 魏富鹏 ,  刘星 ,  施歌 ,  乔亚琼 ,  郑秋生 ,  姜维 ,  陈紫薇 ,  权高原

IPC: G06F16/36 ,  G06F40/30 ,  G06N3/0464 ,  G06F18/214

Abstract: 本发明提出了一种基于多层语义图卷积神经网络交通事件知识图谱构建方法，其步骤如下：采用自顶向下的方式定义事件本体的分层体系，设计本体模型；从公开数据集官网上下载中英文数据集，收集并整理真实的高校交通风险事件的文本和图像数据，构建知识图谱数据集；以OneRel模型为基础模型，构建事件抽取模型；利用多层语义图卷积神经网络学习知识图谱数据集的全局语义和句法图嵌入表示信息，训练事件抽取模型；构建高校交通安全事件知识图谱并进行可视化展示。本发明融合全局语义依存分析图和句法分析图，提高远距离实体的精确识别；构建多层语义图卷积神经网络捕获更深层次的实体关系语义隐藏信息，构建出较完整的高校交通安全事件知识图谱。

公开(公告)号：CN116385930A

公开(公告)日：2023-07-04

申请号：CN202310352065.1

申请日：2023-04-04

Applicant: 华北水利水电大学

Inventor： 魏富鹏 ,  杨梦凡 ,  乔亚琼 ,  吴慧欣 ,  姜维 ,  李家辉

IPC: G06V20/40 ,  G06V20/70 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/0985

Abstract: 本发明提出了一种基于超参数优化的时间差分网络的异常行为检测方法，对异常行为视频进行标注构建短视频数据集；稀疏采样得到图像序列；将图像序列输入局部模型得到局部特征；将局部特征输入全局模型获得全局特征；通过加权平均对不同时间段的深度特征进行融合；选择可能性最高的分类作为最终的预测分类；通过超参数优化自动选择S‑TDM模块和L‑TDM模块的TDN网络的超参数和网络层数得到异常行为检测的最优化模型；使用最优化模型对任意视频进行切段处理得到每个视频小段对应的预测分类，从而实现对学生异常行为的实时监控。本发明采用可自动寻优的超参数优化技术，无需人为设置模型的超参数，实现对异常行为的识别与分类。

公开(公告)号：CN117876141A

公开(公告)日：2024-04-12

申请号：CN202310749590.7

申请日：2023-06-25

Applicant: 华北水利水电大学

Inventor： 乔亚琼 ,  李鹏程 ,  吴慧欣 ,  杨绍禹 ,  李家辉

IPC: G06Q50/00 ,  G06F40/216 ,  G06F40/284 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提出了一种基于高斯核图注意力网络的社交用户定位方法，用以解决社交媒体用户定位精度较低的技术问题。本发明包括以下步骤：使用k‑d树算法进行地理区间划分，划分得到的每一个地理区间对应一个位置标签；对数据集中的数据进行预处理获取用户推文，利用用户推文中的“@”关系和二阶邻居关系构建社交关系网络；使用词频‑逆向文件算法获取用户推文的特征；以每个用户的推文特征为其在社交关系网络中对应节点的特征，输入高斯核图注意力网络提取出高阶特征；利用多层感知机和Softmax函数根据高阶特征预测每个用户属于每个位置标签的概率。本发明不仅预测结果精度较高，而且计算复杂度较低，训练速度快。

公开(公告)号：CN116229482A

公开(公告)日：2023-06-06

申请号：CN202310283922.7

申请日：2023-03-22

Applicant: 华北水利水电大学 ,  中原工学院

Inventor： 魏富鹏 ,  刘星 ,  郑秋生 ,  乔亚琼 ,  姜维 ,  陈紫薇 ,  张政 ,  牛利月 ,  刘济宗 ,  王尚首

IPC: G06V30/19 ,  G06V30/18 ,  G06V20/40 ,  G06V10/42 ,  G06V10/82 ,  G06N3/08 ,  G06F40/232 ,  G06F40/242 ,  G06N3/0464

Abstract: 本发明提出了一种网络舆情分析中视觉多模态文字检测识别及纠错方法，步骤如下：对网络舆情相关数据中文字进行标注构建数据集；提取数据集中舆情图像的图像特征、视频中关键帧的图像特征，对舆情图像的图像特征和视频中关键帧的图像特征进行信息编码；文字检测模块对多模态特征编码信息进行检测，文本识别模块将带有字符的文本序列转化为文本；采用舆情领域词库和Transformer网络对得到的文本信息进行纠错，得到文字纠错模型；对文字纠错模型进行训练，对识别出的文本信息进行纠错。本发明能够有效挖掘图像、视频中文本行的上下文信息，达到了更精准的舆情多模态数据中的文字提取效果；对文字识别的结果适当纠错，从而达到更好的预期效果。

公开(公告)号：CN115905568A

公开(公告)日：2023-04-04

申请号：CN202211450170.0

申请日：2022-11-19

Applicant: 郑州轻工业大学 ,  华北水利水电大学

Inventor： 马江涛 ,  乔亚琼 ,  贾泽臣 ,  张超钦 ,  王艳军 ,  李祖贺 ,  庾骏 ,  张勋才 ,  李璞 ,  李玉华 ,  周辰宇 ,  马宇科 ,  李霆 ,  晋文朵 ,  程佳

IPC: G06F16/36 ,  G06F16/901 ,  G06N3/08 ,  G06N3/045 ,  G06N3/047

Abstract: 本发明提出了一种上下文感知的知识图谱补全方法，步骤为：根据实体对的知识图谱子图，边感知的关系消息传递机制计算不同实体的邻居边的权重，利用邻居关系权重对关系的状态进行加权结合，获取实体对的邻居边表示；上下文感知的路径注意机制学习实体对之间的关系路径得到实体对之间所有关系路径的表示；根据实体对的邻居边表示计算每条关系路径的权重，利用权重对关系路径的表示进行加权求和获得实体对的关系路径表示；计算实体对之间关系的概率分布，利用概率分布构建损失函数进行训练，得到补全模型。本发明可以捕获实体邻居边重要程度的差异，减轻了噪声路径的影响，实验结果表明，在链路预测任务上优于其他基线方法，且具有更好的解释能力。

公开(公告)号：CN118171735A

公开(公告)日：2024-06-11

申请号：CN202311583010.8

申请日：2023-11-24

Applicant: 华北水利水电大学

Inventor： 乔亚琼 ,  王羽 ,  王合闯 ,  焦奥博 ,  魏琼亚 ,  朱帅辉

IPC: G06N5/04 ,  G06F18/25 ,  G06F18/241 ,  G06Q50/00 ,  G06V10/40 ,  G06V10/80 ,  G06N3/084 ,  G06N3/0455

Abstract: 本发明提出了一种多阶段融合的多模态社交用户位置推断方法，步骤为：选取真实的微博数据作为用户数据，构建包含用户的文本和图像的多模态数据集；对多模态数据集中的所有图像进行特征提取得到图像特征，对多模态数据集中的所有文本进行特征提取得到文本特征；利用两个前端融合和一个中间融合分别对文本特征和图像特征进行融合；将3个融合后的特征输入训练后的用户定位模型，根据多层感知机输出3种分类结果，对分类结果进行决策层融合推断得到用户地理位置标签。本发明充分利用社交媒体中的文本和图片等多模态信息进行用户位置推断，通过融入和用户帖子具有正关联的图像特征，相对于基于文本的方法，进一步提升了社交用户定位精度。

公开(公告)号：CN116795836A

公开(公告)日：2023-09-22

申请号：CN202310568907.7

申请日：2023-05-19

Applicant: 华北水利水电大学

Inventor： 乔亚琼 ,  吴慧欣 ,  李家辉 ,  魏富鹏 ,  孟尧

IPC: G06F16/22 ,  G06F16/215 ,  G06F16/29 ,  G06F16/28 ,  G06F40/216 ,  G06N3/0464 ,  G06F16/335

Abstract: 本发明提出了一种基于异质图和图卷积神经网络的推特用户位置推断方法，步骤为：对收集的样本数据进行预处理；根据训练集的样本数据中的位置数据构建搜索树，对训练集中的用户进行位置类别分配；根据搜索树对测试集中的用户分配位置区域；计算用户节点与用户推文中单词节点之间的TF‑IDF值；计算单词节点之间的PPMI值；构建包含用户节点和单词节点的异质图；使用GCN来训练位置推断模型，通过训练后的GCN模型可以得到用户的向量嵌入表示，对于每个用户的向量嵌入表示使用softmax函数可以得到用户的位置类别概率。本发明基于异质图和图卷积神经网络学习用户社交文本的特征，有利于提高推特用户位置推断中基于文本的用户位置推断结果的准确性。