基于深度学习与深度信息检测定位的云台结构及方法

    公开(公告)号:CN117991825B

    公开(公告)日:2024-10-15

    申请号:CN202410149341.9

    申请日:2024-02-02

    Abstract: 本发明公开了一种基于深度学习与深度信息检测定位的云台结构及方法,包括:图像采集装置,用于采集目标物体的图像信息和深度信息;计算处理模块,将所述图像信息和深度信息转化为位置信息、姿态信息并生成控制指令发送至云台舵机控制模块中;云台舵机控制模块,根据所述计算处理模块发送的控制指令驱动云台舵机机构;云台舵机机构,通过所述云台舵机控制模块的驱动控制对所述图像采集装置进行方位角度调整;本发明结构简单,安装方便快捷,易于推广应用;在结构上配备有可转动的图像采集装置,可实现对云台舵机机构、运动机构和执行机构的精确控制。

    一种基于大语言模型增强的知识问答方法

    公开(公告)号:CN118069818B

    公开(公告)日:2024-07-12

    申请号:CN202410483177.5

    申请日:2024-04-22

    Inventor: 黄森

    Abstract: 本发明公开了一种基于大语言模型增强的知识问答方法,所述方法包括:构建专利特征提取模型,包括OCR模块,文本特征提取器,图像文本融合特征提取器;把专利摘要文本和附图输入专利特征提取模型,得到多模态融合特征;把专利输入大语言模型,得到对应的查询,把查询输入查询特征提取模型,得到查询特征;对多篇专利的多模态融合特征和查询特征计算损失函数,用其优化专利特征提取模型和查询特征提取模型;用训练好的模型进行专利检索问答。本发明通过多模态特征的提取,高效准确地把专利表示为特征向量,并利用大语言模型生成专利的查询,通过自监督的方式训练模型,这种方式无需人工标注较低,最终实现以问答的方式通过查询检索专利。

    基于关系先验偏置的文档关系抽取方法

    公开(公告)号:CN117874174B

    公开(公告)日:2024-05-10

    申请号:CN202410273703.5

    申请日:2024-03-11

    Inventor: 黄森

    Abstract: 本发明公开了基于关系先验偏置的文档关系抽取方法,所述方法包括:构建关系抽取模型,包括预训练语言模型和关系预测层;使用预训练语言模型编码文档,获得文档特征以及实体特征;对每个实体对计算关系先验偏置;把每个实体对的实体特征和关系先验偏置输入关系预测层,获得实体对的关系概率分布;计算关系分类损失函数,优化关系分类损失函数,训练关系抽取模型;使用关系抽取模型进行关系抽取。本发明发现对于文档关系抽取,其天然存在着很强的统计先验知识,本发明创新性地根据头尾实体的类型计算出实体对的关系先验偏置,并将关系先验偏置作为先验知识引入深度学习模型中,实现了高精度的文档关系抽取。

    基于深度学习与深度信息检测定位的云台结构及方法

    公开(公告)号:CN117991825A

    公开(公告)日:2024-05-07

    申请号:CN202410149341.9

    申请日:2024-02-02

    Abstract: 本发明公开了一种基于深度学习与深度信息检测定位的云台结构及方法,包括:图像采集装置,用于采集目标物体的图像信息和深度信息;计算处理模块,将所述图像信息和深度信息转化为位置信息、姿态信息并生成控制指令发送至云台舵机控制模块中;云台舵机控制模块,根据所述计算处理模块发送的控制指令驱动云台舵机机构;云台舵机机构,通过所述云台舵机控制模块的驱动控制对所述图像采集装置进行方位角度调整;本发明结构简单,安装方便快捷,易于推广应用;在结构上配备有可转动的图像采集装置,可实现对云台舵机机构、运动机构和执行机构的精确控制。

    基于关系先验偏置的文档关系抽取方法

    公开(公告)号:CN117874174A

    公开(公告)日:2024-04-12

    申请号:CN202410273703.5

    申请日:2024-03-11

    Inventor: 黄森 黄双萍

    Abstract: 本发明公开了基于关系先验偏置的文档关系抽取方法,所述方法包括:构建关系抽取模型,包括预训练语言模型和关系预测层;使用预训练语言模型编码文档,获得文档特征以及实体特征;对每个实体对计算关系先验偏置;把每个实体对的实体特征和关系先验偏置输入关系预测层,获得实体对的关系概率分布;计算关系分类损失函数,优化关系分类损失函数,训练关系抽取模型;使用关系抽取模型进行关系抽取。本发明发现对于文档关系抽取,其天然存在着很强的统计先验知识,本发明创新性地根据头尾实体的类型计算出实体对的关系先验偏置,并将关系先验偏置作为先验知识引入深度学习模型中,实现了高精度的文档关系抽取。

    一种基于视频动作的多模型集成多相位MRI肿瘤分类方法

    公开(公告)号:CN117351003B

    公开(公告)日:2024-02-23

    申请号:CN202311579723.7

    申请日:2023-11-24

    Abstract: 本发明公开了一种基于视频动作的多模型集成多相位MRI肿瘤分类方法,包括以下步骤:步骤1,对MRI肿瘤病例数进行划分处理与对MRI三维图像进行预处理;步骤2,通过分类模型获取MRI三维图像的特征图;步骤3,对特征图进行融合并映射到输出类别中得到预测结果;步骤4,重复步骤2和步骤3,获取多个独立且对不同类别具有不同分类能力的模型的预测结果;步骤5,集成多个模型的预测结果从而得到最终的多相位MRI肿瘤分类结果;得到更具鲁棒性和更精准的预测结果,使自动诊断多相位MRI肿瘤分类结果的精准度进一步提高,有效的缓解了医疗数据集中、数据量少、数据集不平衡的问题。

    一种表格的标记语言标签与单元格锚框鲁棒对齐方法

    公开(公告)号:CN115618154A

    公开(公告)日:2023-01-17

    申请号:CN202211632718.3

    申请日:2022-12-19

    Abstract: 本发明公开了一种表格的标记语言标签与单元格锚框鲁棒对齐方法,方法包括:解析HTML结构字符串,得到td标签的行号、列号、跨行数目以及跨列数目;基于单元格的Bbox的竖直方向的坐标位置关系,为每个Bbox分配行号,并根据水平方向的坐标位置关系将Bbox从左至右进行排序;进行匹配行的各Bbox标签的分配;基于匹配行,根据水平方向的坐标位置关系,对所有未匹配行中的Bbox的列号进行投票,投票数最多的列号作为Bbox列号的预测结果,基于列号将Bbox与同行的td标签进行对齐,进行未匹配行的各Bbox标签的分配;由此得到整个表格各Bbox的行号、列号、跨行数目以及跨列数目的分配结果。

    基于空间位置与场景关联的文本检测识别模型校准方法

    公开(公告)号:CN119516530B

    公开(公告)日:2025-05-09

    申请号:CN202411580630.0

    申请日:2024-11-07

    Abstract: 本发明公开了基于空间位置与场景关联的文本检测识别模型校准方法,包括:根据目标文本序列的似然最大化和目标位置的绝对距离最小化对端到端文本检测识别模型进行监督获得识别损失;通过文本关联序列挖掘模型构建文本关联序列集;通过空间位置平滑方法构建文本平滑位置集;根据文本关联序列集联合正则内容损失实现文本内容置信度校准;根据文本平滑位置集联合正则位置损失实现文本位置置信度校准;引入全局校准强度系数联合正则内容损失和正则位置损失构建正则化损失函数,实现总体的可控性端到端置信度校准;联合识别损失和正则化损失得到最终损失以训练得到校准后的端到端文本检测识别模型,用于输出预测文本序列、位置及校准的置信度。

    一种大模型的最优嵌入位置的快速搜索方法

    公开(公告)号:CN119830957A

    公开(公告)日:2025-04-15

    申请号:CN202411895199.9

    申请日:2024-12-21

    Inventor: 黄双萍 杨帆 黄森

    Abstract: 本发明公开了一种大模型的最优嵌入位置的快速搜索方法,其特征在于,所述方法包括:选取任务的数据集的K个代表性样本,构建一个用于搜索最优嵌入位置的代表集,其中K不宜过大;将代表集所有样本,同时输入给多模态大模型(MLLM),和特定任务的小模型,并引入特征融合模块,对MLLM的第i个Transformer模块的特征和小模型最终层的特征进行融合;冻结小模型的参数,对MLLM的所有参数进行k步的参数高效微调,其中k不宜过大;微调的每一步,对参数关于损失函数求梯度向量的二范数,得到k个梯度二范数,并对k个梯度二范数加权求和,得到适应度;更换随机数种子,重复第2到4步,进行P次重复实验,其中P不应过大也不应过小,取3到30次为宜;对i在1到T取值范围中做迭代,每步迭代重复2到5步,得到不同嵌入位置的平均适应度,最终选择平均适应度最大的i*作为最优嵌入位置,其中T为MLLM总层数。本发明提供的大模型的最优嵌入位置的快速搜索方法,具有搜索速度快,任务拓展性强的特点,特别适用于需要快速对大模型进行小模型知识融合的场景。

Patent Agency Ranking