-
公开(公告)号:CN114501013B
公开(公告)日:2025-04-29
申请号:CN202210042520.3
申请日:2022-01-14
Applicant: 上海交通大学
IPC: H04N19/146 , H04N19/109 , H04N19/11 , H04N19/124 , H04N19/31 , H04N19/91 , G06T9/00 , G06V20/40 , G06V10/44 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明提供可变码率视频压缩方法、系统、装置及存储介质,包括:将参考帧图像通过卷积神经网络,得到参考帧的第一特征图,通过尺度缩放及可导量化得到参考帧的第二特征图,并进行逆缩放,得到重构的参考帧。将预测帧图像通过卷积神经网络,得到预测帧的第一特征图,通过尺度缩放及量化得到预测帧的第二特征图。将预测帧的第二特征图与参考帧的第二特征图相减,得到特征图残差;利用参考帧的第二特征图作为先验信息,对特征图残差进行无损熵编码,并传输至解码端;将特征图残差与参考帧的第二特征图相加并逆缩放后,通过卷积神经网络得到重构的预测帧。本发明利用尺度因子将特征图进行尺度缩放,从而得到不同码率质量对应的特征图。
-
公开(公告)号:CN118762203A
公开(公告)日:2024-10-11
申请号:CN202410785386.5
申请日:2024-06-18
Applicant: 上海交通大学
IPC: G06V10/75 , G06V10/25 , G06V10/44 , G06V10/62 , G06V10/46 , G06V10/80 , G06V10/30 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/0985
Abstract: 本发明提供一种基于机器学习完成图匹配的多智能体时空对齐方法和系统,包括:各智能体对个体所观测数据进行编码,使用深度卷积神经网络得到鸟瞰特征图和物体检测框;智能体将鸟瞰特征图和物体检测框发送至所有协作智能体;各智能体接收其他智能体的鸟瞰特征图和物体检测框,执行子图搜索及匹配,计算相对位姿与历史观测延时;各智能体将其他智能体的鸟瞰特征图及物体检测框,转换到自身为参考的时空坐标系下;各智能体使用历史协作的鸟瞰特征图对转换到自身时空坐标系后可能出现的时域噪声进行补偿,得到去噪特征图;各智能体聚合所有去噪特征图,并进行检测框检测。本发明有效降低时域和空间噪声对协作感知的干扰,提升了系统的性能和稳定性。
-
公开(公告)号:CN118505752A
公开(公告)日:2024-08-16
申请号:CN202410718910.7
申请日:2024-06-05
Applicant: 上海交通大学
Abstract: 本发明提供一种不依赖外部定位和全局时钟技术的协作感知空间对齐方法,包括:S11,各智能体分别对个体所观测数据进行编码,使用深度卷积神经网络转化为鸟瞰特征图并完成目标检测与追踪,获得物体检测框和追踪结果;每个智能体将通讯信息发送至所有协作对象;S12,各智能体根据接收到的通讯信息,通过BEVGlue方法计算相对位姿,完成空间对齐;S13,各智能体将经完成空间对齐的鸟瞰图特征与检测框转换到各自坐标系下;S14,智能体聚合自身的鸟瞰特征图和完成坐标转换的鸟瞰图特征,基于聚合成的特征图进行检测框检测。本发明基于BEVGlue方法,促进空间误差情况下的协作感知,有效缓解空间噪声对协作感知带来的影响。
-
公开(公告)号:CN118036766A
公开(公告)日:2024-05-14
申请号:CN202211417269.0
申请日:2022-11-14
Applicant: 上海交通大学
IPC: G06N20/00 , G06F18/214
Abstract: 本发明提供基于差异感知协作的联邦学习方法和系统,包括:S11,联邦训练前,所有客户计算本地类别分布,用度量函数衡量本地类别分布和全局类别分布的差异作为本地差异度,上传至服务器;S12,开始联邦训练,本轮被选中的客户从服务器下载上一轮的全局模型,进行本地训练;S13,用本地差异度和本地数据量共同决定本轮参与训练的客户的聚合权重;S14,本轮参与训练的客户将更新后的本地模型上传至服务器,服务器端用修正后的权重对本地模型进行聚合,得到全局模型;S12‑S14重复迭代若干轮次,直至联邦训练结束。本发明具备对类别分布差异的感知能力,突破标准聚合权重仅依赖于本地数据量的这一限制,缩小全局优化目标的误差边界,提升模型在类别分布异构下的表现。
-
公开(公告)号:CN117240400A
公开(公告)日:2023-12-15
申请号:CN202210627649.0
申请日:2022-06-06
Applicant: 上海交通大学
IPC: H04L1/00
Abstract: 本发明提供了一种抵御随机通信中断的鲁棒协同感知方法,包括:在每个时序关键帧,对输入自身智能体的观测原始数据,使用特征编码模型提取特征;当与智能体的通信中断发生时,智能体基于自身存储的历史特征,依次通过历史特征补全模型和预测模型,预测出当前时间戳下可能的融合特征;将融合特征视为一个虚拟智能体的特征,进行信息共享和特征融合,将虚拟智能体的特征与自身智能体当前的感知特征及其他当前可以正常通信的智能体的特征进行融合,获得融合结果;使用特征解码模型将融合结果进行解码,得到感知结果。本发明利用时空一致性,在一定程度上恢复出了由于通信中断而丢失的信息。有效缓解了随机中断问题对于协同感知性能的影响。
-
公开(公告)号:CN115243289A
公开(公告)日:2022-10-25
申请号:CN202210816910.1
申请日:2022-07-12
Applicant: 上海交通大学
Abstract: 本发明提供一种针对通信延迟的鲁棒协作感知方法,包括数据输入编码网络提取感知特征;基于感知特征进行协作通信,将接收到的来自其他智能体的具有不同延迟时间的感知特征,在主智能体处进行对齐与融合,获得主智能体接收时的异步特征和边缘特征融合注意力权重;基于异步特征获得主智能体存储的历史特征,并将历史特征和边缘特征融合注意力权重通过延时补偿网络,通过特征权重共生预测和时间调制,得到调制结果;利用解码器将调制结果解码成最终感知并输出。其采用一种新的延迟补偿网络,以实现通信后的特征同步。该网络基于双分支金字塔长短期记忆体系结构,促进对两类关键协作信息(包括特征和协作注意力权重)的同步评估,相互增强。
-
公开(公告)号:CN113239924B
公开(公告)日:2022-04-26
申请号:CN202110556712.1
申请日:2021-05-21
Applicant: 上海交通大学
IPC: G06V10/22 , G06V10/40 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/08
Abstract: 本发明公开了一种基于迁移学习的弱监督目标检测方法及系统,该方法包括:对输入的强监督及弱监督的图像,使用深度卷积神经网络提取图像的特征,利用区域建议网络提取图像中的候选框,得到不同候选区域的视觉特征;对强监督及弱监督数据集中的类别文本进行特征提取,建立语义图,并利用图卷积网络进行优化,得到所有类别文本的语义特征;使用双监督的平均教师网络结构,包括:强监督分类及边界回归学生网络、弱监督多示例学习学生网络以及分类及边界回归教师网络,利用视觉特征以及优化后的语义特征,聚合强监督及弱监督数据集中的边界框信息和分类信息,从而对候选框进行边界框的回归和分类。通过本发明,提升了弱监督目标检测的效果。
-
公开(公告)号:CN114091603A
公开(公告)日:2022-02-25
申请号:CN202111385235.3
申请日:2021-11-22
Applicant: 上海交通大学
Abstract: 一种空间转录组细胞聚类方法,包括步骤:对于空间转路组中每个细胞基因表达进行预处理;根据所述空间转路组的细胞坐标生成邻接矩阵A,获得空间转录组细胞的图结构表示,由细胞特征矩阵X表示细胞基因表达,将邻接矩阵A和细胞特征矩阵X输入经过训练的图卷积神经网络模型DGI;所述图卷积神经网络模型DGI输出具有空间信息的结点特征表示;对所述结点特征表示采用降维、聚类算法处理后,识别、获得所述空间转录组细胞类型。
-
公开(公告)号:CN119992387A
公开(公告)日:2025-05-13
申请号:CN202510098835.3
申请日:2025-01-22
Applicant: 上海交通大学
Abstract: 本发明一种提供高动态环境中执行复杂语言指令的安全飞行智能体系统。该系统包含基于视觉语言模型的感知模块以及安全模块,基于语言大模型的规划模块和无人机控制接口。在系统运行阶段中,智能体接受来自用户的命令,规划模块进行任务的拆分并调用相应的任务记忆和代码生成器生成相应的可执行代码,调用感知的接口得到任务相关的感知信息,最终通过安全检查模块检查后,执行相应代码以完成用户的指令。该系统通过结合各个模块中高性能低帧率的大模型,高帧率的传统方法,以及使用涉及隐私,潜在风险和碰撞的安全检测模块从而达到在高动态环境中任务的安全高效执行。
-
公开(公告)号:CN119026704A
公开(公告)日:2024-11-26
申请号:CN202411116906.X
申请日:2024-08-15
Applicant: 上海交通大学
IPC: G06N20/00
Abstract: 本发明提供基于数据质量控制的联邦指令调优方法和系统,包括:使用全局初始模型参数对各客户端的本地数据进行指令-响应一致性评分,评估每个样本的质量;根据预设的质量阈值过滤低质量数据,保留一致性评分高于阈值的数据样本;将过滤后的样本数据按一致性评分从高到低排序,划分为多个层级,每个层级包含相同数量的数据样本;各客户端按照层级顺序依次使用数据样本进行本地训练;在每轮训练结束后,服务器接收所有参与客户端的本地更新参数,并通过加权平均的方式更新全局模型参数;重复上述步骤,直到达到预设轮次。本发明通过实施全局一致且高效的数据质量评估,结合分层训练方法,能够提高模型对噪声的鲁棒性,提升模型训练效果和性能。
-
-
-
-
-
-
-
-
-