公开(公告)号：CN119128642A

公开(公告)日：2024-12-13

申请号：CN202411198761.2

申请日：2024-08-29

Applicant: 西北工业大学

Inventor： 张欣 ,  张雨桐 ,  解康妮 ,  张艺颖 ,  陈芸 ,  陈浩 ,  赵晓涓 ,  席颖

IPC: G06F18/241 ,  G06F18/10 ,  G06F18/213 ,  G06V20/40 ,  G06V20/70 ,  G06F16/34 ,  G06N3/0455 ,  G06N3/0495 ,  G06N3/09 ,  G06N5/04

Abstract: 一种多模态大模型用于风险内容识别与摘要生成方法，包括采集风险内容数据并进行数据预处理，基于预处理后的风险内容数据划分得到训练集和测试集；利用训练集对Chameleon‑7B进行模型微调，得到风险识别大模型RiskContent‑Valuer；将测试集数据输入RiskContent‑Valuer进行抽象特征提取，得到风险内容识别与摘要生成结果；其中，模型微调前利用BitsAndBytesConfig接口量化基础模型Chameleon‑7B，通过量化层将模型权重转化为int4并放入GPU，将核心计算过程在CUDA上完成；采用监督学习和LoRA方法进行模型微调。本申请利用LoRA大幅度降低计算资源的消耗，继承了跨越不同模态和体裁的强大语言理解能力，实现了准确的风险内容评估与总结果，同时提供风险点摘要。

公开(公告)号：CN119274542A

公开(公告)日：2025-01-07

申请号：CN202411529131.9

申请日：2024-10-30

Applicant: 西北工业大学

Inventor： 张欣 ,  陈芸 ,  张雨桐 ,  张艺颖 ,  钟天阳 ,  谢松云 ,  谢辛舟

IPC: G10L15/01 ,  G10L15/16 ,  G10L15/18 ,  G10L15/26 ,  G10L15/04 ,  G10L19/022 ,  G10L25/06 ,  G10L15/08

Abstract: 本发明涉及一种基于图论的Transformer自动语音识别模型的性能分析方法，属于人工智能与语音识别领域。包括：获取Transformer自动语音识别模型，获取音频数据；将音频数据输入Transformer自动语音识别模型，通过前向传播获取模型中各层的多个注意力头的权重矩阵，提取模型输出的单词文本；对每个注意力头的权重矩阵在给定时间内进行求平均处理，得到该注意力头的人工神经活动；使用皮尔逊相关系数对所述注意力头的人工神经活动进行相关性计算得到相关系数，基于相关系数构建功能连接矩阵；计算功能连接矩阵的图论参数；计算输出的单词文本的单词错误率；基于图论参数和单词错误率，分析Transformer自动语音识别模型的性能。本发明方法对Transformer自动语音识别模型的性能分析提供依据。

公开(公告)号：CN119722438A

公开(公告)日：2025-03-28

申请号：CN202411747070.3

申请日：2024-12-02

Applicant: 西北工业大学

Inventor： 何人杰 ,  解康妮 ,  张雨桐 ,  潘逸 ,  钟天阳 ,  何明一 ,  戴玉超 ,  张欣

IPC: G06T3/04 ,  G06V10/24 ,  G06V10/80

Abstract: 本申请公开了一种基于语义对齐的图像风格迁移方法、装置、介质和设备，通过获取风格图像和内容图像，利用预构建的风格迁移网络处理风格图像和所述内容图像，得到风格化图像，其中，风格迁移网络包括编码模块、解码模块、第一风格注意模块、第二风格注意模块，第一自适应解耦模块、第二自适应解耦模块、第一动态风格调制核模块和第二动态风格调制核模块，输出所述风格化图像，通过风格注意模块将内容图的特征映射到风格图的内容特征之间建立映射关系，引入基于内容的动态风格调制核模块对映射矩阵进行调整，同时使用自适应解耦模块实现内容与风格的显式解耦，从而实现语义、风格更加和谐的图像风格迁移效果。