公开(公告)号：CN116662587B

公开(公告)日：2023-10-03

申请号：CN202310942873.3

申请日：2023-07-31

Applicant: 华侨大学

Inventor： 张洪博 ,  林王凯 ,  雷庆

IPC: G06F16/53 ,  G06F16/55 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于查询生成器的人物交互检测方法、装置及设备，方法包括以下步骤：读取待检测的目标图像；利用特征提取器对所述目标图像进行特征提取获得图像特征；随机初始化一组人‑物对的先验边界框，将所述图像特征与所述先验边界框共同输入查询生成器，并基于所述查询生成器生成每层实例检测器和交互分类器所需的两组查询向量以及查询向量的位置信息；经由不同的解码器将输入的图像特征、查询向量和位置信息解码为特征向量组；根据所述特征向量组得到人物交互的预测结果。本发明将查询向量视为候选的人物交互检测结果，通过初始化人‑物对的先验边界框，来从中生成所需的查询向量，能够更精准且高效地进行人物交互行为识别。

公开(公告)号：CN113609948B

公开(公告)日：2023-09-05

申请号：CN202110861491.9

申请日：2021-07-29

Applicant: 华侨大学

Inventor： 杜吉祥 ,  彭肖肖 ,  张洪博 ,  翟传敏 ,  雷庆

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/62 ,  G06V10/762 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/094

Abstract: 本发明提供了一种视频时序动作的检测方法、装置及设备,方法包括:获取视频数据,并提取所述视频数据的视频特征；将所述视频特征输入至锚分支网络以及无锚分支网络，以获取所述锚分支网络输出的第一输出结果，及所述无锚分支网络输出的第二输出结果，其中，所述锚分支网络以及所述无锚分支网络并行处理所述视频特征；调用对齐损失函数对所述第一输出结果及所述第二输出结果进行融合处理，生成时序动作定位结果集。解决了现有技术中对数据集的动作标注往往很模糊的问题。

公开(公告)号：CN115439790A

公开(公告)日：2022-12-06

申请号：CN202211151940.1

申请日：2022-09-21

Applicant: 华侨大学

Inventor： 杜吉祥 ,  王剑波 ,  张洪博 ,  翟传敏 ,  陈雁 ,  雷庆

IPC: G06V20/40 ,  G06V10/764

Abstract: 本发明实施例提供一种基于级联的种子区域生长模块的弱监督时序动作定位方法，涉及视频动作识别技术领域。其中，这种弱监督时序动作定位方法包含步骤S1至步骤S5。S1、获取待识别视频。S2、根据待识别视频，提取时序特征。S3、将时序特征输入预先训练好的弱监督时序动作分类模型，获取待识别类激活序列，并根据待识别类激活序列，获取视频级动作分类得分。S4、获取动作分类阈值，并根据动作分类阈值对视频级分类得分进行判断，获取待识别视频包含的动作类别。S5、根据动作类别和待识别类激活序列，获取动作类别在待识别视频中的起止时刻。解决现有的弱监督时序动作定位方法会陷入局部最优的问题，大大提高了视频中动作识别的精确度。

公开(公告)号：CN110555387B

公开(公告)日：2022-07-19

申请号：CN201910711578.0

申请日：2019-08-02

Applicant: 华侨大学

Inventor： 张洪博 ,  张翼翔 ,  杜吉祥 ,  雷庆

IPC: G06V40/20 ,  G06V10/80 ,  G06V10/774 ,  G06V10/764 ,  G06V10/50 ,  G06V10/62 ,  G06K9/62

Abstract: 本发明属于人工智能技术领域，公开了一种骨架序列中基于局部关节点轨迹时空卷的行为识别方法，自输入的RGB视频数据和骨架关节点数据中提取局部关节点轨迹时空卷；利用基于RGB视频数据集的预训练模型提取图像特征；对训练集中每个关节点的每一种不同的特征分别构建码本并且分别进行编码，将n个关节点的特征串联为特征向量；利用SVM分类器进行行为分类与识别。本发明将手工特征以及深度学习特征融合，并使用深度学习方法提取局部特征，多种特征的融合可以达到一个稳定且准确的识别率；本发明使用姿态估计算法估计的2D人体骨架以及RGB视频序列提取特征，成本较低，且精度较高，应用于真实场景有着重要的意义。

公开(公告)号：CN110633683B

公开(公告)日：2022-03-25

申请号：CN201910888992.9

申请日：2019-09-19

Applicant: 华侨大学

Inventor： 杜吉祥 ,  陈雪娟 ,  张洪博 ,  雷庆

IPC: G06V40/20 ,  G06V10/82 ,  G06V10/764 ,  G06V10/774 ,  G06N3/04 ,  G10L15/25

Abstract: 本发明公开了一种结合DenseNet和resBi‑LSTM的中文句子级唇语识别方法，本发明将唇语识别拆分为拼音预测与语言翻译两个部分，降低了唇语识别的难度。使用DenseNet提取视觉特征，充分利用浅层特征，有效缓解了梯度消失的问题，并且减少了网络的参数。使用1×1卷积代替全连接实现特征降维的功能，保留了特征中的空间信息，在唇语识别技术研究中，空间信息起着重要作用。使用resBi‑LSTM进行视觉特征的处理，最后得到结合了视觉特征和语义特征的复杂特征，减少了有效信息的损失，提高了唇语识别的准确率。

公开(公告)号：CN114170623A

公开(公告)日：2022-03-11

申请号：CN202111344563.9

申请日：2021-11-15

Applicant: 华侨大学

Inventor： 张洪博 ,  邓未末 ,  杜吉祥 ,  雷庆

IPC: G06V40/10 ,  G06N3/08 ,  G06N3/04 ,  G06V10/25 ,  G06V10/82

Abstract: 本发明提供了一种人物交互检测设备及其方法、装置、可读存储介质，包括：获取待检测的目标图像；根据所述目标图像生成输入参数集；输入参数集包括人体候选框集、物体候选框集、目标图像的全局特征和根据人体候选框集和物体候选框集生成HOI提议数据；调用训练好的基于多流架构的HOI检测模型；基于多流架构的HOI检测模型由多个不同流HOI检测模型并联形成；根据输入参数集获取各个流HOI检测模型的输入集，并将输入集输入至对应HOI检测模型，以获得每个HOI检测模型的输出；根据每个HOI检测模型输出计算得到最终交互预测分数，以输出采集到的目标图像中人物交互行为判断结果。旨在解决现有技术中HOI检测方法判断人物交互效果不佳，外观特征性能较差的问题。

公开(公告)号：CN112733796A

公开(公告)日：2021-04-30

申请号：CN202110089858.X

申请日：2021-01-22

Applicant: 华侨大学

Inventor： 张洪博 ,  董力嘉 ,  李明哲 ,  雷庆 ,  杜吉祥

IPC: G06K9/00 ,  G06K9/62

Abstract: 本发明实施例提供一种体育运动质量的评估方法、装置、设备，存储介质，涉及行为识别技术领域。其中，这种评估方法包括如下步骤：S101、获取包含特定体育运动的运动过程的视频，并根据体育运动的类型将视频分割成多个视频阶段。S102、将多个视频阶段输入至骨干网络模型，获得与多个视频阶段对应的多个特征表示。S103、构建回归网络模型。其中，回归网络模型采用基于难度系数的总得分为训练标签的方法训练。S104、将多个特征表示输入至回归网络模型，获得视频中的运动过程的评分。骨干网络模型保证评分过程中的动作特征能够完整，且语义信息足够丰富。回归网络模型大大提高了动作质量评估方法的性能。

公开(公告)号：CN109447619A

公开(公告)日：2019-03-08

申请号：CN201811102281.6

申请日：2018-09-20

Applicant: 华侨大学

Inventor： 杜吉祥 ,  周以重 ,  张洪博 ,  上官县金 ,  雷庆

IPC: G06Q20/20 ,  G06K9/00 ,  G06Q20/38

Abstract: 本发明公开了一种基于开放环境的无人结算方法、装置、设备和系统，方法包括：接收光栅传感器组件传输的光栅光束状态信息，当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与人脸图像进行绑定，完成一次消费记录，当顾客进入结算区域时，采集顾客的人脸图像，并获取与人脸图像对应的所有消费记录，以形成账单完成结算。本发明提供了一种可靠性高，成本低的无人结算方案。