公开(公告)号：CN119871425A

公开(公告)日：2025-04-25

申请号：CN202510192209.0

申请日：2025-02-21

Applicant: 杭州智元研究院有限公司 ,  杭州电子科技大学

Inventor： 颜力琦 ,  管昉立 ,  张建辉 ,  程彦宇 ,  李艳芳 ,  李攀

IPC: B25J9/16

Abstract: 本发明属于机器人任务规划技术领域，公开了基于多角色大模型自适应学习的机器人复杂任务自主规划的方法，包括步骤一、利用具备先验知识的开源多模态大模型，构建辅助机器人决策的任务分析大模型、任务执行大模型、效果评估大模型；步骤二、在步骤一构建的三个大模型基础上，利用元学习技术，同时训练这三个模型，在决策过程中利用感知反馈信息动态调整模型参数，实现机器人在执行任务时对新场景的自适应。本发明构建多个不同分工角色的机器人多模态大模型，并利用基于元学习的自适应学习方法，提高基于大模型的机器人语言指定任务的规划模型在未知环境中的适应效率，使其具备自主学习的能力，在对任务的执行过程中的不断反思以快速适应新环境。

公开(公告)号：CN118644672A

公开(公告)日：2024-09-13

申请号：CN202410768062.0

申请日：2024-06-14

Applicant: 杭州电子科技大学

Inventor： 张建辉 ,  张新琦 ,  颜力琦 ,  管昉立

IPC: G06V10/26 ,  G06V10/32 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06V20/70 ,  G06V20/10 ,  G06V20/56 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/045

Abstract: 本发明公开了一种基于轻量化注意力的城市街景实时实例分割方法，包括如下步骤：步骤1、读取城市街景数据集并进行预处理及数据增强；步骤2、经步骤1处理后的图像作为输入，通过骨干网络进行特征提取并输出特征图；步骤3、所述特征图输入至有聚焦函数的聚焦线性注意力模块进一步提取特征使其聚焦到目标实例上；步骤4、将所述聚焦注意力模块提取的特征图和骨干网络提取的不同尺寸的特征图进行融合；步骤5、基于解耦头得到检测分支以及掩码分支，将融合后的特征分别输入检测分支和掩码分支得到检测结果和分割掩码，最后将检测结果和分割掩码合成得到目标的实例分割结果。相对于传统的纯卷积神经网络和Transformer模型，它有效地平衡了性能和速度。

公开(公告)号：CN118097488A

公开(公告)日：2024-05-28

申请号：CN202410042500.5

申请日：2024-01-11

Applicant: 杭州电子科技大学

Inventor： 张建辉 ,  吴晨锴 ,  管昉立 ,  颜力琦

IPC: G06V20/40 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/082

Abstract: 本说明书涉及计算机视觉技术领域，涉及一种视频异常检测模型的训练方法、视频异常检测方法，一种视频异常检测模型的训练方法包括获取样本视频帧序列和视频异常检测模型；所述视频异常检测模型包括外观编码器、运动编码器、一致性融合模块和解码器；将所述样本视频帧序列中的0～t‑1帧输入所述视频异常检测模型，输出t帧的预测帧；利用第一损失函数对所述t帧的预测帧和样本帧进行收敛判断，并优化模型参数；重复以上视频异常检测模型预测步骤以及收敛判断步骤，直至所述第一损失函数收敛，所述视频异常检测模型训练完毕。本说明书的一种视频异常检测模型训练方法、视频异常检测方法提高了异常的预测误差，视频异常检测的准确率较高，计算量小。

公开(公告)号：CN117218524A

公开(公告)日：2023-12-12

申请号：CN202310972334.4

申请日：2023-08-03

Applicant: 杭州电子科技大学 ,  德清阿尔法创新研究院 ,  浙江国遥地理信息技术有限公司

Inventor： 张建辉 ,  赵楠 ,  管昉立 ,  李强 ,  马广迪 ,  杨为琛 ,  周颢 ,  肖长林

IPC: G06V20/10 ,  G06V20/17 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0475 ,  G06N3/045

Abstract: 本发明公开了一种基于空天地多视角影像协同的城市违章区域识别方法，通过多视角图像信息的特征提取与融合以获取城市土地利用数据和时序遥感预检测的城市违章区域，将获取城市违章区域的遥感影像、地面图像和无人机图像视频，通过条件生成对抗网络生成包含城市违章区域特征，输入VGG模型进行训练；最终基于VGG预训练模型的建筑判别模型对城市违章区域进行识别。本发明融合空天地图像视频信息以检测和判别城市违章区域，解决传统方法单一使用遥感图像/地面图像或无人机图像的不足、面临建筑物和城市绿化遮挡时性能无法保障的问题，以及无人机采集范围有限的问题，实现快速精准地检测和判别城市违章区域。

公开(公告)号：CN118736380A

公开(公告)日：2024-10-01

申请号：CN202410856450.4

申请日：2024-06-28

Applicant: 杭州电子科技大学

Inventor： 张建辉 ,  杨政磊 ,  周文晖 ,  颜力琦 ,  管昉立

IPC: G06V10/82 ,  G06V10/774 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/096

Abstract: 本发明公开了一种基于特征对比迁移学习的开集识别方法及系统，该方法首先通过预训练的多层视觉编码器获取待识别图像的图像特征和已知类别的类别特征锚点。其次将图像特征和类别特征锚点拼接成图像‑类别特征对，通过相似度网络计算类别相似度值并得到类别差异特征。然后将图像特征、类别差异特征通过交叉注意力网络，得到待识别图像的潜在闭集分类结果。最后取潜在闭集分类结果对应的类别相似度值作为待识别图像的开集分数，与设定阈值比较判断待识别图像属于已知类还是未知类。本发明提高了模型的闭集分类性能和开集识别性能，并在细粒度开集识别任务中表现出色。

公开(公告)号：CN118428732A

公开(公告)日：2024-08-02

申请号：CN202410572808.0

申请日：2024-05-10

Applicant: 杭州电子科技大学

Inventor： 管昉立 ,  关泽林 ,  张建辉

IPC: G06Q10/0635 ,  G06Q50/26 ,  G06F18/25 ,  G06F18/213 ,  G06F18/27 ,  G06N3/0464 ,  G06F18/24 ,  G06N20/20 ,  G06N5/01

Abstract: 本发明公开了一种多模态数据融合的盗窃犯罪风险评估方法，包括如下步骤：步骤1、获取待预测区域的地理信息数据集；步骤2、构建并训练多模态数据融合的盗窃犯罪风险评估模型；步骤3、将地理信息数据集作为输入得到感知特征、视觉特征、空间特征和盗窃风险指标，将上述特征进行数据更新得到多模态数据；步骤4、将来自不同数据源的多模态数据通过多模态特征融合模块融合成多模态特征矩阵；步骤5、将多模态特征矩阵作为自变量矩阵，将量化后的盗窃风险指标作为因变量通过回归预测模块进行预测。该方法设计局部区域加权回归算法来建模区域盗窃犯罪风险因子和建成环境特征，实现低成本、较高精度的区域盗窃犯罪风险评估。

公开(公告)号：CN119888511A

公开(公告)日：2025-04-25

申请号：CN202411909061.X

申请日：2024-12-24

Applicant: 杭州电子科技大学

Inventor： 冯文卿 ,  管昉立 ,  杨虎 ,  高烨镪 ,  刘衍 ,  廖富平

IPC: G06V20/13 ,  G06V10/774 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0895

Abstract: 本发明公开了基于自监督特征差异学习的遥感影像变化检测方法与系统，公方法包括：S1：收集并制作遥感图像数据集，其中每张图像都有像素级标注，并将其分为训练、验证和测试集，同时将图像切割成统一尺寸；S2：构建基于特征差异的Barlow Twins自监督对比预训练Self‑supervised contrastive learning，SSCL和微调CD架构，包含自监督对比预训练阶段和微调阶段，使用特征提取器、投影网络和改进的UNet++模型；S3：使用自监督算法对无标签图像进行预训练；S4：选择最佳特征编码器组件用于后续编码器；S5：输入有标签图像到改进的UNet++模型，进行深度监督；S6：保存模型权重，用测试集进行测试，获取变化检测结果，本发明能够在使用有限的标记数据样本时有效检测遥感图像中的变化。

公开(公告)号：CN119049083A

公开(公告)日：2024-11-29

申请号：CN202411044775.9

申请日：2024-07-31

Applicant: 杭州电子科技大学

Inventor： 张建辉 ,  王云华 ,  冯建文 ,  徐雁鸿 ,  管昉立 ,  颜力琦

IPC: G06V40/10 ,  G06V10/44 ,  G06N3/0455

Abstract: 本发明涉及一种基于偏置特征的遮挡行人重识别方法，包括构建基于Transformer的遮挡行人重识别主干网络；构建粗粒度与细粒度特征提取模块；构建权重提取模块，利用细粒度特征提取权重；构建特征加权模块，利用细粒度特征提取到的权重对粗粒度特征进行动态加权，获取偏置特征；构建基于粗粒度特征和偏置特征的损失函数，利用训练集训练模型，测试集挑选最优模型。该方法通过细粒度特征提供的信息，对粗粒度特征的权重进行动态调整，减弱粗粒度特征中遮挡带来的干扰，同时不需要引入额外身体线索训练模型，从而达到了高精度与高效率的遮挡行人重识别。

公开(公告)号：CN118097406A

公开(公告)日：2024-05-28

申请号：CN202410170276.8

申请日：2024-02-06

Applicant: 杭州电子科技大学

Inventor： 管昉立 ,  赵楠 ,  张建辉 ,  颜力琦 ,  王浩丞

IPC: G06V20/10 ,  G06V10/40 ,  G06V10/24 ,  G06V10/80 ,  G06V10/764 ,  G06V10/774

Abstract: 本发明公开了一种高定位精度的无人机‑遥感影像跨视角地理定位方法，通过构建特征空间分组增强的无人机‑遥感影像跨视角地理定位模型，基于ConvNeXt提取无人机和遥感影像的多尺度语义特征，得到全局特征和局部特征；将经特征空间分组增强模块空间增强的全局特征和局部特征进行特征融合与质量回归。使用三元组损失和交叉熵损失度量的混合函数对模型进行训练，将无人机影像和卫星影像送入训练后的模型进行匹配，实现无人机‑遥感的跨视角地理定位。本发明利用空间分组增强模块丰富了特征的空间信息，利用三元组损失和交叉熵损失度量的混合函数提高了非对齐图像对间的有效信息利用率和特征匹配的有效性，提高了跨视角匹配的准确率。

公开(公告)号：CN117315936A

公开(公告)日：2023-12-29

申请号：CN202311259780.7

申请日：2023-09-27

Applicant: 杭州电子科技大学

Inventor： 管昉立 ,  张建辉

IPC: G08G1/01 ,  G06Q50/26 ,  G06V20/54 ,  G06V20/70 ,  G06F16/29 ,  G06F18/27 ,  G06F18/243 ,  G06N20/20

Abstract: 本发明公开一种街景空间多模态融合的路口场景安全风险量化方法，基于历史交通事故数据并考虑距离衰减效应，计算路口场景区域的交通事故发生强度指标并作为训练标签数据；基于街景全景影像和路网数据，计算路口场景的视觉特征，计算路口场景的空间结构特征；基于兴趣点和交通流量数据，计算路口场景的语义特征；组合上述特征构建路口场景安全风险特征向量；结合强度指标和安全风险特征向量，利用随机森林回归算法构建路口场景的安全风险量化模型。本发明通过设计交通事故发生强度指标，并综合考虑路口场景的视觉、空间结构和语义维度特征建模，对算力和标签数据依赖性低、操作性强，可为道路安全风险预警和安全城市建设等提供技术支持。