-
公开(公告)号:CN114743128A
公开(公告)日:2022-07-12
申请号:CN202210225924.6
申请日:2022-03-09
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于异种神经网络的多模态东北虎再辨识方法及装置,涉及机器视觉技术领域,可应用于跟踪东北虎的活动轨迹调查,对保护濒危的东北虎具有重大意义。本发明的异种神经网络包括用双分支残差神经网络和Transformer网络,其中,双分支残差卷积神经网络用于先对红外图像和可见光图像学习局部特征;Transformer网络对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征,利用自注意力机制学习东北虎的全局特征。双分支残差卷积神经网络的各分支结构相同但参数独立,用于处理红外和可见光东北虎图像光谱、分辨率、对比度等特性;而Transformer网络从全局视角学习信息东北虎特征,减少图像模态差异带来的噪声影响,实现高准确率的东北虎再辨识。
-
公开(公告)号:CN112905822B
公开(公告)日:2022-07-01
申请号:CN202110144443.8
申请日:2021-02-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
Abstract: 本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法,针对每个模态构建深度学习网络获取深度特征,引入生成对抗网络,利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征,在公共子空间进行异质性数据的度量的同时,利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络,使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能;在检索过程中利用训练得到的网络模型M对待查询图像(文本)和候选库中的文本(图像)进行特征提取以及余弦距离计算,从而获取待查询图像(文本)与候选库中的文本(图像)数据之间的相似度较高者,实现跨模态检索。
-
公开(公告)号:CN116128779A
公开(公告)日:2023-05-16
申请号:CN202211687228.3
申请日:2022-12-27
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明涉及一种适用于跨模态行人再辨识的随机置色数据增强方法,先对可见光图像随机裁剪局部区域,对所裁剪的局部区域进行随机灰度化变换,以及对红外光图像随机裁剪局部区域,对所裁剪的局部区域进行随机彩色化变换;再将变换后的局部区域替换为原先被裁剪区域,获取随机置色增强可见光和红外光图像用于跨模态行人再辨识步骤。本发明在图像层面上,以轻量计算代价缓解可见光和红外光图像风格差异,从而提升跨模态行人再辨识模型对模态变化的适应能力,进而提升跨模态行人再辨识的准确性。
-
公开(公告)号:CN115995065A
公开(公告)日:2023-04-21
申请号:CN202310149452.5
申请日:2023-02-22
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06V20/54 , G06V10/82 , G06N3/08 , G06N3/0464
Abstract: 本发明提供一种基于动态卷积Transformer的车辆再辨识方法;不同于各个局部区域共用卷积核,本发明中各个局部区域共用一个卷积核池,由一个全连接人工神经子网从各个局部区域各自学习得到一组系数,利用各个局部区域对应的系数将卷积核池中的卷积核进行线性融合获得各个局部区域的专用卷积核,用于学习各个局部区域的特征。因此,本发明能够根据各个局部区域自身的表征特性自适应学习相应的卷积核,能够更好学习车辆图像的局部特征,从而有利于提升车辆再辨识性能。
-
公开(公告)号:CN112818135B
公开(公告)日:2022-11-01
申请号:CN202110208342.2
申请日:2021-02-24
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于公共语义空间学习构建图文知识图谱方法,包括如下步骤:构建深度神经网络用于图像与文本数据的深度特征提取;将图像与文本数据对oi=(xi,li,yi)分别输入到深度神经网络中训练;其中oi表示第i对图像‑文本对数据以及对应的标签,xi,yi与li分别表示第i个图像数据、文本数据以及对应的标签数据;通过损失函数学习两种图像和文本数据间的公共语义表达,并将图像与文本特征转化到公共语义空间中;根据相似度度量,依据CN‑DBpedia的构建方法构建知识图谱。本发明提供的方法能有效实现图像、文本两种不同的模态间的知识图谱构建。
-
公开(公告)号:CN114239730A
公开(公告)日:2022-03-25
申请号:CN202111564321.0
申请日:2021-12-20
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于近邻排序关系的跨模态检索方法,包括:构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型;将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练;结合近邻样本排序损失函数和语义相似度度量损失函数,计算语义对齐的损失值,通过训练缩小损失值,得到训练好的深度神经网络模型;通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达,并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中,实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。
-
公开(公告)号:CN112905822A
公开(公告)日:2021-06-04
申请号:CN202110144443.8
申请日:2021-02-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
Abstract: 本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法,针对每个模态构建深度学习网络获取深度特征,引入生成对抗网络,利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征,在公共子空间进行异质性数据的度量的同时,利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络,使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能;在检索过程中利用训练得到的网络模型M对待查询图像(文本)和候选库中的文本(图像)进行特征提取以及余弦距离计算,从而获取待查询图像(文本)与候选库中的文本(图像)数据之间的相似度较高者,实现跨模态检索。
-
公开(公告)号:CN109101281B
公开(公告)日:2021-07-02
申请号:CN201810749691.3
申请日:2018-07-10
Applicant: 厦门亿联网络技术股份有限公司
IPC: G06F9/4401 , G06F13/40 , H04L12/24
Abstract: 本发明涉及一种通用的热插拔检测方法,其通过在主设备内核层实现一个热插拔消息缓存驱动,用来在用户层生成可供多用户读写的设备节点,而通过在主设备用户层实现一个热插拔服务程序来监听linux系统的热插拔消息;当热插拔服务程序监听到热插拔消息时,该消息会被写入热插拔消息缓存生成的设备节点中,用户可以通过多个应用读取设备节点,由此获取热插拔事件。因此,本发明有效解决了多用户使用问题和热插拔消息丢失的问题。
-
公开(公告)号:CN110611808B
公开(公告)日:2021-02-05
申请号:CN201910798855.6
申请日:2019-08-27
Applicant: 厦门亿联网络技术股份有限公司
Abstract: 本发明一实施例提供一种相机的解析力测试方法,包括:将相机对ISO12233测试卡拍摄得到的铺满屏幕的图像划分左上、左下、右上、右下和中间5个区域;其中,所述图像包括位于中间区域的楔形线和分别位于所述左上、左下、右上、右下区域的十字楔形线,所述左上、左下、右上和右下4个区域的十字楔形线的图案一致;分别对所述中间区域的楔形线和任一个所述十字楔形线进行定位,获取对应的线束区域;所述线束区域中获取线束的总长度和实际线束长度;根据实际线束长度和线束的总长度之比,计算得到解析力。本发明实施例能够实现各区的楔形线的自动定位、楔形线线束的读取,从而实现相机的解析力测试的自动化。
-
公开(公告)号:CN111343349A
公开(公告)日:2020-06-26
申请号:CN202010115321.1
申请日:2020-02-25
Applicant: 厦门亿联网络技术股份有限公司
IPC: H04M3/56
Abstract: 本发明公开了一种支持多设备会议应用的USB电话装置,包括:触控显示模块、音频处理模块、DECT模块、蓝牙模块、USB接口和MCU控制器;蓝牙模块用于通过蓝牙协议与外置的蓝牙终端进行蓝牙通信连接;USB接口用于与外置的智能终端进行USB通信连接;DECT模块用于通过DECT协议与外置的无线耳机进行通信连接;触控显示模块用于将数据显示在显示屏上并识别获取显示屏上的触控操作指令;音频处理模块用于对接收到的音频数据进行音频处理;MCU控制器用于对接收到的数据进行处理;MCU控制器上还设置有第一混音器,第一混音器用于对MCU控制器接收到的音频数据进行混音处理;MCU控制器分别与触控显示模块、音频处理模块、DECT模块、蓝牙模块和USB接口相连接。
-
-
-
-
-
-
-
-
-