-
公开(公告)号:CN106503047A
公开(公告)日:2017-03-15
申请号:CN201610839591.0
申请日:2016-09-22
Applicant: 浙江工业大学
Abstract: 一种基于卷积神经网络的网络爬虫优化方法,包括以下步骤:1)利用网络爬虫从各网站爬取初始数据,人工将数据分为无噪声数据集Free_Noisy和完全噪声数据集Pure_Noisy;2)使用初始数据集训练NoisyCNN网络;3)利用网络爬虫开始对主流搜索引擎和图像分享网站中搜集大量目标分类的图像数据,同时定期执行步骤4;4)利用NoisyCNN网络对数据筛选,将数据将分为Weak_Noisy和Pure_Noisy;5)使用扩充后数据更新NoisyCNN网络;6)判断Pure_Noisy数据量是否合理,决定是否继续爬虫;7)停止爬虫。本发明能有效减少数据噪声、提升工作效率。
-
公开(公告)号:CN107958263A
公开(公告)日:2018-04-24
申请号:CN201711111256.X
申请日:2017-11-13
Applicant: 浙江工业大学
CPC classification number: G06K9/6256 , G06K9/627 , G06N3/0454
Abstract: 一种半监督的图像分类器训练方法,包括以下步骤:S1初始化分类器,包括分类器结构初始化、分类器权重初始化等;S2获取图像数据,以网络爬虫为主要方法大量获取包含所需数据的图像数据;S3对数据分类和标记;S4迭代更新分类器;S5判断是否结束程序或继续迭代;本发明对基础的图像分类器有较好的优化效果,训练得到的分类器的分类精度和鲁棒性都较高。
-
公开(公告)号:CN107563406B
公开(公告)日:2021-01-01
申请号:CN201710598711.7
申请日:2017-07-21
Applicant: 浙江工业大学
IPC: G06K9/62 , G06N3/04 , G06F16/953
Abstract: 一种自主学习的图像精细分类方法,包括以下步骤:1)人工采集对应需求标签的图像数据集,保存至强标签数据集,使用ImageNet数据集初始化卷积神经网络CNN参数;2)使用强标签数据集微调修正CNN;3)判断分类网络的优化趋势;4)判断网络分类精度是否达到了要求;5)利用网络爬虫从互联网爬取、人工采集与标签相关的图像数据和噪声数据保存至弱标签数据集;6)使用弱标签数据集调整滤波器的阈值;7)使用调整后的滤波器筛选数据保存至强标签数据集和噪声数据集;8)保存网络权重和滤波器参数。本发明训练得到的分类器的分类精度和鲁棒性都较高。
-
公开(公告)号:CN106529564B
公开(公告)日:2019-05-31
申请号:CN201610848398.3
申请日:2016-09-26
Applicant: 浙江工业大学
IPC: G06K9/62 , G06F16/951 , G06N3/02
Abstract: 一种基于卷积神经网络的食物图像自动分类方法,包括以下步骤:1)利用网络爬虫从互联网爬取食物图像数据,人工筛选标签正确的食物图像归至InitialData数据集;2)使用InitialData训练FoodCNN卷积神经网络;3)利用网络爬虫开始对主流搜索引擎和图像分享网站中搜集大量目标分类的食物图像数据,同时定期执行步骤4;4)利用FoodCNN网络对数据筛选,将数据将分为CrawlData和NoisyData;5)使用扩充后数据CrawlData更新FoodCNN网络;6)判断NoisyData数据量是否合理,决定是否继续爬虫;7)停止爬虫,训练FoodFinalCNN。本发明正确率较高。
-
公开(公告)号:CN106503047B
公开(公告)日:2019-10-11
申请号:CN201610839591.0
申请日:2016-09-22
Applicant: 浙江工业大学
IPC: G06F16/9535 , G06F16/583 , G06K9/62
Abstract: 一种基于卷积神经网络的网络爬虫优化方法,包括以下步骤:1)利用网络爬虫从各网站爬取初始数据,人工将数据分为无噪声数据集Free_Noisy和完全噪声数据集Pure_Noisy;2)使用初始数据集训练NoisyCNN网络;3)利用网络爬虫开始对主流搜索引擎和图像分享网站中搜集大量目标分类的图像数据,同时定期执行步骤4;4)利用NoisyCNN网络对数据筛选,将数据将分为Weak_Noisy和Pure_Noisy;5)使用扩充后数据更新NoisyCNN网络;6)判断Pure_Noisy数据量是否合理,决定是否继续爬虫;7)停止爬虫。本发明能有效减少数据噪声、提升工作效率。
-
公开(公告)号:CN107563406A
公开(公告)日:2018-01-09
申请号:CN201710598711.7
申请日:2017-07-21
Applicant: 浙江工业大学
Abstract: 一种自主学习的图像精细分类方法,包括以下步骤:1)人工采集对应需求标签的图像数据集,保存至强标签数据集,使用ImageNet数据集初始化卷积神经网络CNN参数;2)使用强标签数据集微调修正CNN;3)判断分类网络的优化趋势;4)判断网络分类精度是否达到了要求;5)利用网络爬虫从互联网爬取、人工采集与标签相关的图像数据和噪声数据保存至弱标签数据集;6)使用弱标签数据集调整滤波器的阈值;7)使用调整后的滤波器筛选数据保存至强标签数据集和噪声数据集;8)保存网络权重和滤波器参数。本发明训练得到的分类器的分类精度和鲁棒性都较高。
-
公开(公告)号:CN106529564A
公开(公告)日:2017-03-22
申请号:CN201610848398.3
申请日:2016-09-26
Applicant: 浙江工业大学
CPC classification number: G06K9/6267 , G06F16/951 , G06N3/02
Abstract: 一种基于卷积神经网络的食物图像自动分类方法,包括以下步骤:1)利用网络爬虫从互联网爬取食物图像数据,人工筛选标签正确的食物图像归至InitialData数据集;2)使用InitialData训练FoodCNN卷积神经网络;3)利用网络爬虫开始对主流搜索引擎和图像分享网站中搜集大量目标分类的食物图像数据,同时定期执行步骤4;4)利用FoodCNN网络对数据筛选,将数据将分为CrawlData和NoisyData;5)使用扩充后数据CrawlData更新FoodCNN网络;6)判断NoisyData数据量是否合理,决定是否继续爬虫;7)停止爬虫,训练FoodFinalCNN。本发明正确率较高。
-
-
-
-
-
-