-
公开(公告)号:CN119540062A
公开(公告)日:2025-02-28
申请号:CN202411630875.X
申请日:2024-11-15
Applicant: 东南大学
IPC: G06T3/4053 , G06T3/4046 , G06T5/70 , G06T5/60 , G06V40/16 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于双重引导扩散模型的人脸超分辨率方法及系统,收集低分辨率非正面和高分辨率正面人脸图像,构建训练数据对;将低分辨率非正面人脸图像初步复原后获取粗略正面人脸图像;将像素空间的人脸图像映射到隐式空间,使扩散模型在隐式空间中计算,预训练无条件扩散模型,将训练结果作为扩散模型的初始化参数,冻结去噪网络的编码器;从粗略正面人脸图像中提取面部先验特征,通过混合交叉注意机制捕捉面部先验特征和去噪特征之间的空间和语义相关性;提取面部身份编码信息,并嵌入去噪网络;初始化高斯噪声图,利用训练好的扩散模型不断迭代去噪,将隐式空间中的去噪结果映射到像素空间,最终重建出高分辨率正面人脸图像。
-
公开(公告)号:CN114241454B
公开(公告)日:2024-04-23
申请号:CN202111564286.2
申请日:2021-12-20
Applicant: 东南大学
IPC: G06V20/59 , G06V40/20 , G06V10/80 , G06V10/82 , G06V10/764 , G06V10/774 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种利用重映射注意力识别分心驾驶的方法,设计了多尺度注意力编码器以提取驾驶员图像的全局特征。由于姿势估计中的热图提供了身体部位的表达性非参数编码,通过对驾驶员部位热图和全局特征图进行哈达玛乘积,将部位信息投影到全局特征上,从而增强了驾驶员行为描述符的辨别力,为了提高鲁棒性和泛化能力,提出了部位注意力丢弃操作,即在训练过程中随机丢失某部位热图,以应对其不可见的情况。本发明引导模型着重于与驾驶员行为相关的部位,可进一步提高驾驶员行为识别准确率。本发明在交通安全领域有重要的应用价值。
-
公开(公告)号:CN113506268B
公开(公告)日:2024-04-23
申请号:CN202110785139.1
申请日:2021-07-12
Applicant: 东南大学
IPC: G06V10/82 , G06V10/764 , G06N3/0455 , G06N3/0475 , G06N3/094 , G06N3/0895
Abstract: 本发明涉及一种面向铁轨图像的半监督异物检测方法,包括以下步骤:使用高清相机获得铁路轨道的二维图像,并将其转换为灰度图;采用基于GAN的异常检测方法,在模型训练阶段只输入正常的铁轨图像;在测试阶段模型可已重构出正常样本的图像,却无法重构出异常样本图像;在推理阶段,设置一个阈值,当重构图像与原图之间差异大于所设阈值,该图像就被判定为异常。本发明采用半监督的方式,在模型训练时不需要异常样本图像,并且在推理阶段可以准确地检测出铁轨异物图像。
-
公开(公告)号:CN117711021A
公开(公告)日:2024-03-15
申请号:CN202311739491.7
申请日:2023-12-18
Applicant: 东南大学
IPC: G06V40/10 , G06V20/40 , G06V10/44 , G06T7/194 , G06V10/764
Abstract: 本发明公开了一种基于异常感知语义自对齐的视频行人重识别方法及系统,利用骨干网络从视频片段输入中提取特征图;训练语义部位分类器,将特征图输入到分类器中得到各语义部位的置信图;用置信图对特征图执行加权池化以获得局部嵌入;再构造串联嵌入、前景嵌入和全局嵌入,并在此基础上构造三个联合损失函数来优化模型网络;重复执行步骤直到模型收敛;最后利用训练后的模型,固定模型参数,提取行人视频片段的前景嵌入和全局嵌入计算待检索行人样本与候选行人样本的距离,最终按距离从小到大进行排序得到行人重识别结果。本方法在没有先验人体拓扑信息的情况下定位不同语义部位,学习对异常信息具有鲁棒性的局部特征表示,有效提升了识别准确率。
-
公开(公告)号:CN114241453B
公开(公告)日:2024-03-12
申请号:CN202111561616.2
申请日:2021-12-20
Applicant: 东南大学
IPC: G06V20/59 , G06V40/20 , G06V10/77 , G06V10/80 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种利用关键点注意力的驾驶员分心驾驶监测方法。该方法利用驾驶员的判别性关键点特征以区分具有相似外观的分心驾驶行为。本发明提出通道‑空间变换卷积来改进特征变换过程,以增强卷积特征的表示能力。同时,使用Lightweight OpenPose生成关键点热图,作为全局特征的注意力图,并提出关键点投影策略来融合关键点信息和卷积特征,即将每个关键点的热力图与全局特征图进行点乘以生成局部细化特征。关键点信息到全局特征的投影提高了最终分类表示的区分度,可进一步提高驾驶员分心驾驶监测准确率。本发明在交通安全领域有重要的应用价值。
-
公开(公告)号:CN116824408A
公开(公告)日:2023-09-29
申请号:CN202310779784.1
申请日:2023-06-28
Applicant: 东南大学
IPC: G06V20/17 , G06N3/0464 , G06V10/82 , G06V10/80 , G06V10/774 , G06V10/42 , G06V10/44 , G06N3/045
Abstract: 本发明公开了一种基于多特征并行混合的航拍小目标检测方法,该方法包括:将最大池化引入自校正卷积中,强化对局部特征及上下文信息的识别;借助量子思想,在视觉多层感知机领域,将分割后得到的token之间的关系看作波函数的聚合,用最大池化生成幅值和相位,实现更好的聚合效果,在全局特征提取的同时加强局部特征提取;利用最大池化,深度可分离卷积,最大化自校正卷积和基于波的视觉多层感知机进行并行结合,得到多分支模块,实现局部特征的逐步外扩提取,获得更多小目标的上下文特征,将全局和局部的特征进行融合;运用所选的模块和YOLOX网络结合,在航拍小目标数据集上进行测试,我们的模型在输入分辨率较低时,实现了较高精度的小目标检测效果。
-
公开(公告)号:CN109784150B
公开(公告)日:2023-08-01
申请号:CN201811489325.5
申请日:2018-12-06
Applicant: 东南大学
IPC: G06V20/40 , G06V20/59 , G06V10/764 , G06V10/82 , G06V10/52 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明提供了一种基于多任务时空卷积神经网络的视频驾驶员行为识别方法,将多任务学习策略引入到时空卷积神经网络的训练过程并应用于监控视频中的驾驶员行为识别,辅助的驾驶员定位和光流估计任务隐含地嵌入到视频分类任务中,促进卷积神经网络模型学习到更丰富的驾驶员局部空间和运动时间特征,以提升驾驶员行为识别的准确率。对比目前现有的驾驶员识别方法,本发明所设计的多任务时空卷积神经网络架构结合了帧间信息,泛化性强,识别准确率高,可用于监控视频下的实时驾驶员行为识别,在交通安全领域有重要的应用价值。
-
公开(公告)号:CN110059582B
公开(公告)日:2023-04-07
申请号:CN201910242262.1
申请日:2019-03-28
Applicant: 东南大学
IPC: G06V20/59 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种基于多尺度注意力卷积神经网络的驾驶员行为识别方法,包括如下步骤:(1)拍摄驾驶员行为识别的图像数据集;(2)对拍摄得到的驾驶员行为数据集做数据增强并将增强得到的样本同时纳入训练数据中;(3)构建神经网络模型,包括三个模块,分别为:多尺度卷积模块、注意力模块和分类模块;(4)训练多尺度注意力卷积神经网络;使用Pytorch开源工具搭建网络模型,使用随机梯度下降方法优化网络参数;(5)对多列卷积神经网络进行测试。本发明将多尺度模型和注意力机制引入到驾驶员行为识别任务中用于提取具有区分度的行为细粒度特征表示,可进一步提高驾驶员行为识别准确率。
-
公开(公告)号:CN115456896A
公开(公告)日:2022-12-09
申请号:CN202211082599.9
申请日:2022-09-06
Applicant: 东南大学
Abstract: 本发明公开了一种面向顶视鱼眼视觉任务的旋转卷积方法,当计算旋转卷积所需要的掩膜时,将不同方向的卷积核作用于顶视鱼眼图像的不同区域,且进行卷积操作时,让输入特征图分别与不同旋转状态的卷积核进行中心限制可变形卷积;本发明基于卷积神经网络的旋转等变性提出旋转卷积核,并将旋转后的卷积核应用于顶视鱼眼图像中的不同位置,同时提出中心限制的可变形卷积并将其应用于旋转卷积,使得卷积核可以自适应的旋转和变形,改进了卷积核从顶视鱼眼图像中具有不同旋转状态的对象中提取相似特征的能力,极大提高了卷积神经网络在顶视鱼眼视觉检测和分割任务中的准确率。
-
公开(公告)号:CN113112474B
公开(公告)日:2022-11-18
申请号:CN202110390047.3
申请日:2021-04-12
Applicant: 东南大学
Abstract: 本发明涉及一种面向道岔与非道岔轨道图像的钢轨定位方法,包括以下步骤:使用高清相机获得铁路轨道的二维图像,并将其转换为灰度图;对当前图像进行预处理,预处理方式包括高斯滤波和直方图均衡;通过直线检测算法提取图像中的所有直线段;将直线段离散为若干点,然后把这些点投影至图像的x轴;最后,采用双滑动窗口遍历图像中的投影数据,就识别出了图像中钢轨的位置。本发明可以快速区分道岔路段图像与非道岔路段图像,能够准确检测出钢轨在图像中的位置。
-
-
-
-
-
-
-
-
-