一种基于多模态联合训练网络的井下危险行为识别方法

    公开(公告)号:CN118968614A

    公开(公告)日:2024-11-15

    申请号:CN202410979883.9

    申请日:2024-07-19

    Abstract: 本发明公开了一种基于多模态联合训练网络的井下危险行为识别方法,首先利用井下固定摄像头捕获RGB流视频以及生成相应的深度图数据,将其推流至后端设备,利用先进的姿态估计算法获取人体关键点坐标并将其保存为可读数据。骨骼数据一方面可以利用GCN模型进行骨骼数据行为识别,另一方面需要用骨骼坐标点生成相应的互补数据。MHP图的构建由深度图辅助RGB图生成,GOIS图由训练后的关节点权重辅助生成,分别由EfficientNet‑B7和ResNet‑18进行训练。本发明解决矿井下由于环境复杂,光线昏暗等恶劣环境条件造成的工作人员行为难以准确识别的难题。

    一种用于地下空间灾后应急场景的无人机中继选择方法

    公开(公告)号:CN114071432B

    公开(公告)日:2024-04-26

    申请号:CN202111371557.2

    申请日:2021-11-18

    Abstract: 本发明公开了一种用于地下空间灾后应急场景的无人机中继选择方法,包括以下步骤:基于D2D用户对于无人机的预测范围,采集D2D用户通过无人机协助传输数据的最大速率、最小速率和平均速率,获取D2D用户对于无人机的第一不确定偏好序,以及无人机对于D2D用户的第二不确定偏好序;基于第一不确定偏好序和第二不确定偏好序,获取D2D用户对于无人机的偏好策略,根据多对一双边匹配算法进行匹配后,将任意两个D2D用户已匹配的无人机进行交换匹配,获取双边交换稳定的匹配结果;本发明的算法计算复杂度低,允许同一中继无人机在同一时隙协作多对D2D用户进行通信,且匹配结果稳定,能保障尽可能多的救援人员及时有效沟通。

    基于多平面多感知缝合线的矿井巷道视频拼接方法

    公开(公告)号:CN111800609B

    公开(公告)日:2021-05-25

    申请号:CN202010603942.4

    申请日:2020-06-29

    Abstract: 本发明涉及视频拼接技术领域,尤其涉及一种基于多平面多感知缝合线的矿井巷道视频拼接方法。主要步骤包括采用尺度不变特征变换算法(SIFT)对定点旋转摄像头所采集到的视频图像前景和背景分别进行特征点检测和匹配,得到特征匹配点;基于多平面进行特征匹配点分组,每组特征匹配点对应的对齐候选单应性矩阵都可以对齐视频图像中的一个平面;在每组局部对齐的视频图像上计算多感知缝合线,选择缝合线能量最小的对齐候选对齐帧图像,并合成最终视频拼接结果。提供了一种以最少摄像头排列布局,获得最大范围的巷道拍摄视野,实现井下巷道大视差场景下自然无缝的视频拼接方法。

    一种厂区工作人员搜索方法及人员识别模型的训练方法

    公开(公告)号:CN112818175A

    公开(公告)日:2021-05-18

    申请号:CN202110167478.3

    申请日:2021-02-07

    Abstract: 本发明公开了一种厂区人员搜索方法,无需对人员区域预先标注,直接输入煤矿区域无标注监控视频生图,先通过本发明提出的多尺度YOLOv4人员检测算法获得煤矿人员的区域边界和位置,再针对煤矿人员统一着装问题,提供一种人员识别模型的训练方法,首先对人员区域采用微调的ResNet50进行特征提取,然后,采用权重约束难样本采样损失函数和边界余弦Softmax损失函数联合监督来训练神经网络识别特征学习,获取检测人员的身份信息识别,实现了较好的一定区域人员的无标注搜索效果。

    基于多模板学习的井下跨视域目标检测跟踪方法

    公开(公告)号:CN110688895A

    公开(公告)日:2020-01-14

    申请号:CN201910782295.5

    申请日:2019-08-23

    Abstract: 本发明公开了一种基于多模板学习的井下跨视域目标检测跟踪方法,包括如下步骤:S10,采用初始模板对当前视域拍摄得到的当前帧图像进行相关滤波器跟踪处理,得到第一响应图;所述初始模板为依据目标样本集确定的模板;S20,采用过程模板对所述当前帧图像进行相关滤波器跟踪处理,得到第二响应图;所述过程模板为依据各个视域中的跟踪对象确定的模板;S30,对所述第一响应图和所述第二响应图进行线性加权处理,得到最终响应图;S40,将所述最终响应图中响应值最大的位置确定为跟踪目标的目标位置。采用本方法能够实现对不同目标对象的长时间跟踪,具有较高的跟踪准确性。

    面向矿井下视频监控的多摄像机无标注行人重识别方法

    公开(公告)号:CN109902573B

    公开(公告)日:2023-10-31

    申请号:CN201910067062.7

    申请日:2019-01-24

    Abstract: 本发明公开了一种面向矿井下视频监控的多摄像机无标注行人重识别方法,包括:从多个摄像机中获取无标注原始视频流,截取该视频流中每一帧图像并输入B‑SSD行人检测网络中训练,获取每一帧图像中的行人区域并输出行人的坐标位置;形成候选行人数据库输入构建的MT‑S行人重识别网络,提取每一个行人区域中的行人特征,并离线存储;从无标注原始视频流中选定待识别的目标人物,截取带有目标人物的每一帧图像,输入到MT‑S行人重识别网络中,提取得到特征;计算待识别的目标人物特征与候选行人数据库行人特征之间的相似度,并进行排序,将相似度最高的行人特征判断为待识别的目标人物。本发明可学习更具判别性的行人特征,在矿井环境下识别更准确且精度更高。

    复杂地下空间轨迹融合的视频人员重识别方法

    公开(公告)号:CN114359773A

    公开(公告)日:2022-04-15

    申请号:CN202111328521.6

    申请日:2021-11-10

    Abstract: 复杂地下空间轨迹融合的视频人员重识别方法,解决复杂地下空间视频人员重识别中的大范围目标遮挡问题;通过Social‑GAN模型能够实现精确人员轨迹预测;构建时空轨迹融合模型,将不受遮挡影响的人员轨迹视频引入重识别网络中,解决遮挡造成的表观视觉特征提取错误问题,有效缓解遮挡问题对重识别性能造成的影响;此外,构建轨迹融合MARS_traj数据集,在MARS数据集上为人员添加时间帧数和空间坐标坐标信息,使其适用于复杂地下空间轨迹融合的视频人员重识别方法。

    矿井下皮带运输人员人机交互行为安全监控与预警方法

    公开(公告)号:CN110425005A

    公开(公告)日:2019-11-08

    申请号:CN201910540349.7

    申请日:2019-06-21

    Abstract: 本发明公开了矿井下皮带运输人员人机交互行为安全监控与预警方法。本发明基于相机标定原理对视频中的皮带位置进行定位,并基于皮带位置及尺寸进行三维ROI划定;采用“自底向上”的关键点提取方法,对皮带运输人员进行先检测再聚类的多人关键点检测,保证检测精度的同时提高检测效率;将人体关键点和ROI区域分别进行两次投影,在两个投影面上对人体和皮带位置关系进行估计,筛选出人机交互中的不安全行为并进行预警,以消除人员与皮带区域的非正常接触造成的皮带运输系统重大安全隐患。

Patent Agency Ranking