公开(公告)号：CN119322830A

公开(公告)日：2025-01-17

申请号：CN202411349613.6

申请日：2024-09-26

Applicant: 浙江大学

Inventor： 吴飞 ,  窦怀永 ,  张圣宇 ,  贺宝仪 ,  张钰清 ,  张涌泉 ,  严骏驰

IPC: G06F16/3329 ,  G06F16/332 ,  G06F16/334 ,  G06N3/084 ,  G06N3/0895 ,  G06N3/096 ,  G06N5/022

Abstract: 本发明公开了一种敦煌垂直领域大模型训练方法、系统、介质及设备，属于人工智能领域和文化领域。本发明通过整理敦煌大辞典、敦煌概论、敦煌18讲等敦煌垂直领域知识，形成了敦煌指令微调数据和“关键词‑解释”的字典类向量知识库，通过继续预训练、有监督微调、外挂向量知识库等步骤，训练出了面向文化旅游和语言专家的敦煌垂直领域大模型。进而提出PhiloCoP框架，以便于敦煌垂直领域大模型的应用。本发明为敦煌爱好者和考古学家提供了更便利的查询知识和辅助研究的工具，有助于在更大范围内更便捷的宣传敦煌文化，能够应用在古代语言学研究领域和旅游场景。

公开(公告)号：CN118570540A

公开(公告)日：2024-08-30

申请号：CN202410707617.0

申请日：2024-06-03

Applicant: 浙江大学

Inventor： 李航奇 ,  张钰清 ,  吴可越 ,  窦怀永 ,  严骏驰 ,  张圣宇 ,  张涌泉

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/75 ,  G06V10/82

Abstract: 本发明公开了一种基于组合优化和多模态大模型的可缀合敦煌残片筛选方法，具体过程为：使用基于卷积神经网络的变体ResNet18的孪生神经网络，提取敦煌残片的特征向量，预测残片对的匹配程度分数，将匹配程度分数大于阈值的敦煌残片对构成无向图，使用融合了最优传输层的图神经网络进行可拼合小残片集合的筛选，并将可缀合的敦煌残片候选拼接集合和预定义的提示词输入多模态大语言模型来判断错误残片，在无向图中剔除错误残片对应的顶点和边，重新筛选得到可拼合的新的候选拼接集合。本发明能够应用在敦煌小残片缀合场景，以及古代语言学和社会研究领域，为古代语言学和社会研究领域研究提高效率。

公开(公告)号：CN118037591A

公开(公告)日：2024-05-14

申请号：CN202410293546.4

申请日：2024-03-14

Applicant: 浙江大学

Inventor： 方舟 ,  张钰清 ,  吴可越 ,  窦怀永 ,  严骏驰 ,  张圣宇 ,  张涌泉

IPC: G06T5/73 ,  G06T5/90 ,  G06T3/4038 ,  G06T7/13 ,  G06T7/90

Abstract: 本发明公开了一种基于视觉的敦煌残卷缀合数据集构建及增强方法，对由于相机拍摄尺寸受限从而对敦煌残卷图像切分拍摄的情况进行拼接，使其还原为长卷图像，对同一馆藏编号中对应多个碎片的情况进行手动切分，重新编号；对彩色碎片根据提供的标准色卡进行色彩矫正，对灰度碎片进行灰度值拉伸，对所有提供比例尺的碎片进行尺度归一化，保证所有碎片大小保持在同一尺度下；通过图像二值化方法提取预处理碎片的黑白掩膜，进而得到最外围边缘；通过传统几何变换法、基于边缘特点的局部随机法、仿真模拟撕碎法以及基于扩散模型的提示学习法进行数据增强。本发明实现数据预处理的全自动化，并借助各种数据增强方法，进一步提升数据集的鲁棒性和多样性。

公开(公告)号：CN117953504A

公开(公告)日：2024-04-30

申请号：CN202410163630.4

申请日：2024-02-05

Applicant: 浙江大学

Inventor： 李航奇 ,  张钰清 ,  吴可越 ,  窦怀永 ,  严骏驰 ,  张圣宇 ,  张涌泉

IPC: G06V30/148 ,  G06V30/18 ,  G06V10/82 ,  G06V10/24

Abstract: 本发明公开了一种基于文本匹配和孪生网络的多模态敦煌残卷缀合方法，具体过程为：使用二值化和闭合操作，提取待缀合的原始敦煌残卷图像蒙版和轮廓，利用训练好的自监督孪生网络进行原始敦煌残卷图像的配对；利用基于文本的定位方法对原始敦煌残卷图像进行光学字符识别，提取文本内容以计算原始敦煌残卷图像的候选位置；使用多模态流程，结合文本匹配和轮廓匹配提高匹配的准确率；使用图搜索的思想，对原始敦煌残卷图像进行全局拼合。本发明能够应用在敦煌残卷缀合场景，以及古代语言学和社会研究领域，为古代语言学和社会研究领域研究提高效率。