公开(公告)号：CN114239546A

公开(公告)日：2022-03-25

申请号：CN202111471991.8

申请日：2021-11-30

Applicant: 南京大学

Inventor： 房春荣 ,  王擎宇 ,  张犬俊 ,  刘佳玮 ,  陈振宇

IPC: G06F40/211 ,  G06F40/30 ,  G06F40/253 ,  G06F40/58

Abstract: 本发明涉及一种机器翻译测试方法。该方法对语句构建依存语法树，按特定规则对语法树剪枝，基于一组依存语法树级别的删除运算符来破坏句子的有效性，从原始句子中删除单词或短语来生成新的语法和语义有效的句子，然后将原文和新生成的句子输入被测试的机器翻译系统，通过计算词袋距离，按照词袋距离大小排序扩增句子，选择距离最大的5个句子，通过手动为原句和翻译句子结果贴标签，标记出错的句子，完成对机器翻译系统的测试。本发明目的在于解决目前机器翻译测试主要通过替换句子中的部分单词来生成测试用例，测试性能主要受到所采用的语言模型的成熟度的限制。在数据扩增的同时，保证了句子的基本结构的不变性，从而发现了较多对错误，这些错误很多是过去机器翻译测试技术发现不了的。

公开(公告)号：CN117217565A

公开(公告)日：2023-12-12

申请号：CN202210613831.0

申请日：2022-06-01

Applicant: 深圳慕智科技有限公司 ,  南京大学深圳研究院

Inventor： 陈振宇 ,  贺璐 ,  刘佳玮

IPC: G06Q10/0639 ,  G06Q50/18 ,  G06F40/211 ,  G06F40/289 ,  G06F40/242

Abstract: 一种基于司法多维评估的模型评估系统其主要特征是通过搭建多阶段自动化大规模评估系统对司法模型进行评估筛选，给出司法模型在司法多维指标下的表现可以从侧面消解“算法黑箱”带来的隐患，从而保障司法办案过程中所重视的“可视正义”，其中司法多维评估指标分为基础性指标和变异性指标，基础性指标是在传统的AI评估指标的集成上针对司法领域赋予指标具体的司法含义，而变异性指标则是结合司法领域的数据变异算法针对模型在不同数据集上的准确率进行评估，本发明通过三个阶段对模型进行多次评估筛选，筛选流程通过设置时间节点进行自动化控制，同时结合FastDFS技术、nginx技术及Docker技术实现高稳健、低成本、高效率、易扩展的筛选系统。

公开(公告)号：CN112579431A

公开(公告)日：2021-03-30

申请号：CN201910951890.7

申请日：2019-09-30

Applicant: 南京大学

Inventor： 房春荣 ,  田元汉 ,  虞圣呈 ,  李秋婷 ,  吉品 ,  刘佳玮

IPC: G06F11/36 ,  G06K9/62

Abstract: 本发明提出了一种基于图像识别的跨平台脚本录制与回放方法，用于在移动应用自动化测试领域来降低自动化测试脚本编写门槛、避免同一应用在不同设备、不同平台下的脚本重复编写和维护开销，该发明的主要创新在于(1)对传统脚本录制方法的改良，提供投放了远程真机的Web端供用户实时操作和录制。(2)结合图像识别和布局匹配技术以实现已录制脚本在多台设备，不同平台下的运行回放，简化自动化脚本生成过程的同时大幅度提升测试脚本的跨平台能力，提高了自动化测试有效性和通用性。