联合多模态循环互补注意力方面级情感分析方法及装置

    公开(公告)号:CN118013423A

    公开(公告)日:2024-05-10

    申请号:CN202410189701.8

    申请日:2024-02-20

    Abstract: 本发明联合多模态循环互补注意力方面级情感分析方法及装置,该方法包括:对于输入文本进行令牌化,进行文本表征抽取,得到文本表征;提取输入图像特征,将图像特征投影到匹配文本表征维度,得到视觉表征;进行高亮化处理,得到文本高亮的视觉表征;进行多模态方面词抽取任务MATE,预测得到方面位置,从而抽取出方面词;根据方面位置,截断文本表征,得到方面文本表征,随后通过多模态方面情感分类任务MASC,得到各个方面词的情感分类结果。该装置包括文本表征抽取、视觉表征抽取、视觉表征高亮、方面词抽取和方面词情感分类五个模块。本发明能够减少视觉噪声并进行模态信息互补,同时关注方面词提取和相关方面极性分类的多模态方面级情感分析。

    一种基于多模态互注意融合的渐进式多任务情感分析方法

    公开(公告)号:CN115034227B

    公开(公告)日:2024-04-19

    申请号:CN202210742276.1

    申请日:2022-06-28

    Abstract: 本发明公开了一种基于多模态互注意融合的渐进式多任务情感分析方法,该方法基于多模态数据相融共生的特点,设计全视角闭环互注意融合模块,融合模块级内提出闭环互注意多模态融合网络,级间提出全视角分级融合机制,增强多模态数据的融合效果;针对复杂语境下单模态个性语义缺失、个性与共性语义无法协同的问题,提出渐进式多任务情感分析框架,框架第一层多模态融合子任务挖掘多模态共性语义,单模态子任务保留单模态个性语义,然后提出双重决策融合策略从第二层高层特征和第三层决策两个维度增强子任务间的交互,增强多模态情感分析算法的适应复杂语境的能力,在CH‑SIMS数据集上的测试结果显示了本发明准确率高、参数量小的综合优势。

    一种面向资源约束下人机协同场景的深度学习图像编码方法

    公开(公告)号:CN113822954B

    公开(公告)日:2024-04-02

    申请号:CN202111064444.8

    申请日:2021-09-10

    Abstract: 本发明公开了一种面向资源约束下人机协同场景的深度学习图像编码方法,该方法将输入图像编码为包含可视分析层和高质量重建层的分层码流,通过自适应地传输与解码,大幅提高在能量有限和带宽有限的场景下人机协同图像应用的效率。包括以下步骤:1)搭建面向人机协同场景的深度图像编码网络框架;2)对于搭建好的深度图像编码网络框架,设置不同的损失函数权重参数,分步依次训练其中的可分析图像压缩网络和特征域分析网络、预览图像生成网络、特征残差压缩网络和高质量重建网络,获取满足不同压缩比的多个网络模型;3)使用得到的网络模型对测试图片进行编码,评估压缩码流的分析质量和重建质量,并测试在资源约束的人机协同场景下的应用效率。

    一种基于双重循环一致性的无监督全色锐化方法

    公开(公告)号:CN117152006A

    公开(公告)日:2023-12-01

    申请号:CN202311115149.X

    申请日:2023-08-31

    Abstract: 本发明公开了一种基于双重循环一致性的无监督全色锐化方法,该方法针对现有有监督学习全色锐化方法依赖于真值,导致模型泛化性差的问题,以及无监督学习全色锐化方法简单堆叠卷积层,空间信息和光谱信息不能有效交互和融合,其次基于生成对抗网络与双重循环一致性的无监督全色锐化算法,设计了从源图像域到目标图像域的循环交互网络架构。其中,并行跨分辨率融合的生成器网络实现空间和光谱特征充分融合,同时保证高分辨率特征不丢失。基于跨域挖掘的空间信息提取预训练网络模块实现多光谱图像空间信息的精准表征。实验结果表明,该方法在定量和定性评价方面都优于现有的无监督全色锐化方法,提高了在全分辨率图像上的全色锐化性能。

    基于视频的立定跳远成绩测量方法和装置

    公开(公告)号:CN114307117B

    公开(公告)日:2022-12-09

    申请号:CN202111632521.5

    申请日:2021-12-28

    Abstract: 本发明公开了一种基于视频的立定跳远成绩测量技术方法和装置。该方法设计了基于视频的立定跳远成绩测量算法,通过人体姿态检测提取视频中运动员的人体姿态信息,根据人体姿态变化判断运动员的起跳、落地动作;通过优化人体姿态的跟踪方式,解决了多人背景下的跟踪编号交换的问题;通过帧差、边缘、频域等多种图像信息结合,精确定位了运动员着陆点的后边缘;通过逆透视变换结合跳远区域边长等参数,精确计算运动员的立定跳远成绩。使用高分辨率的摄像头摄取不同身高与跳远动作的运动员跳远过程,实验测量的平均绝对误差为0.69cm。本发明基于视频的立定跳远成绩测量方法和装置避免了使用昂贵的红外设备,不需要繁琐的后期维护。

    基于视频的立定跳远成绩测量方法和装置

    公开(公告)号:CN114307117A

    公开(公告)日:2022-04-12

    申请号:CN202111632521.5

    申请日:2021-12-28

    Abstract: 本发明公开了一种基于视频的立定跳远成绩测量技术方法和装置。该方法设计了基于视频的立定跳远成绩测量算法,通过人体姿态检测提取视频中运动员的人体姿态信息,根据人体姿态变化判断运动员的起跳、落地动作;通过优化人体姿态的跟踪方式,解决了多人背景下的跟踪编号交换的问题;通过帧差、边缘、频域等多种图像信息结合,精确定位了运动员着陆点的后边缘;通过逆透视变换结合跳远区域边长等参数,精确计算运动员的立定跳远成绩。使用高分辨率的摄像头摄取不同身高与跳远动作的运动员跳远过程,实验测量的平均绝对误差为0.69cm。本发明基于视频的立定跳远成绩测量方法和装置避免了使用昂贵的红外设备,不需要繁琐的后期维护。

    一种基于编码和缓存的跨层联合的视频传输方法、系统

    公开(公告)号:CN113225584B

    公开(公告)日:2022-02-22

    申请号:CN202110316177.2

    申请日:2021-03-24

    Abstract: 本发明公开了一种基于编码和缓存的跨层联合的视频传输方法,该方法根据回程链路负载、传输包个数所满足的条件建立回程链路安全传输模型;建立视频文件的体验质量QoE和编码包大小之间的函数关系,MEC缓存、视频文件传输时延和编码包大小的函数关系;建立以上两个函数关系,视频编码码率、MEC缓存的容量和回程链路安全传输模型为约束条件,以最大化视频体验质量和最小化传输时延为优化目标,建立视频编码参数和MEC缓存联合优化模型;对视频编码参数和MEC缓存联合优化模型求近似最优解,利用近似最优解为视频文件制定体验质量最大化和传输时延最小化的存储策略。本发明能够在保证回程链路安全的情况下提升视频体验质量和减小传输时延。

    一种基于GAN的图像修复的缺陷检测方法

    公开(公告)号:CN112085734B

    公开(公告)日:2022-02-01

    申请号:CN202011024273.1

    申请日:2020-09-25

    Abstract: 本发明公开了一种基于GAN的图像修复的缺陷检测方法。该方法设计了基于GAN的图像修复网络,通过对于无缺陷样本图像数据进行预处理,实现了基于少量无缺陷样本的学习任务,解决了实际工业应用场景当中的正负样本不均衡问题;通过将该网络结合边缘检测Loss,增强了网络的元件复原能力;与此同时,采用了感兴趣区域(ROI)提取以及边缘移除的后处理方法,大幅度地提升了网络的缺陷检测精度,较好地实现了工业元件产品的缺陷检测任务。在150幅工业元件产品测试图像数据(其中139幅有缺陷,11幅无缺陷)上的测试结果验证了本发明针对于工业元件产品上的缺陷进行检测的有效性。

Patent Agency Ranking