公开(公告)号：CN119723599A

公开(公告)日：2025-03-28

申请号：CN202411558280.8

申请日：2024-11-04

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 陈清财 ,  倪桐珂 ,  吴湘平 ,  朱文韬

IPC: G06V30/41 ,  G06V30/14 ,  G06V30/19 ,  G06V20/70 ,  G06V10/82 ,  G06N3/09 ,  G06Q40/04 ,  G06Q40/06

Abstract: 本申请提供了一种基于多模态大模型的图片金融指令解析方法及相关装置。方法包括：S1，输入包含投资交易指令的原始文档图片，使用光学字符识别模型对原始文档图片进行文本识别，得到文本块列表；S2，针对文本块列表，构建图片交易指令解析提示语句和位置信息向量，并将图片交易指令解析提示语句和位置信息向量输入图片交易指令解析大模型，由图片交易指令解析大模型输出对应的交易指令列表，交易指令列表包含图片中所有的交易指令；S3，针对交易指令列表，与交易业务知识库进行比对和验证，根据业务规则补充附属要素，以及根据文本特征修正因光学字符识别错误导致的文本错误要素；S4，输出经过上述处理步骤后的完整交易指令。