-
公开(公告)号:CN104298550B
公开(公告)日:2017-11-14
申请号:CN201410529300.9
申请日:2014-10-09
Applicant: 南通大学
IPC: G06F9/46
Abstract: 本发明提供一种面向Hadoop的动态调度方法,包括以下步骤:S1:设置每个节点的计算能力是一致的;且每个作业的执行时间随着执行次数的增加而线性减少;S2:判断作业是否为同类作业,且获取并统计同类作业的执行情况;S3:解析每个作业提交时所制定的期望执行时间;S4:若判定作业为同类作业,则会建立代价模型得到作业权重值;S5:若判断作业不为同类作业,则分配最低权重值;S6:根据作业权重值调整作业实际资源量,提高实时作业的响应度。本发明可以有效地解决现有调度算法在调度实时作业上的不足,并对实时作业进行资源控制,以此提高实时作业效率的能力,从而达到用户精细控制作业执行速度的功能。
-
公开(公告)号:CN103631922B
公开(公告)日:2017-04-05
申请号:CN201310642219.7
申请日:2013-12-03
Applicant: 南通大学
IPC: G06F17/30
Abstract: 针对单一节点不能胜任大规模Web信息提取需求的问题,本申请公开了一种基于Hadoop集群的大规模Web信息提取方法及系统,汇聚处理节点根据设定提取条件提取待查询网站种子,根据各查询节点的处理能力进行负载均衡分割,并向各查询节点下发的待查询种子,各查询节点根据待查询种子在本地进行网页提取,并进行上报,汇聚处理节点将上报的信息汇聚后得到大规模Web信息。该申请以Hadoop集群方式进行海量数据提取,并以高效的Hbase类型的内存数据库进行数据处理,较之单机及传统关系型数据库的提取效率有极大性能的提升,并具有高可靠性与高扩展性。
-
公开(公告)号:CN104298550A
公开(公告)日:2015-01-21
申请号:CN201410529300.9
申请日:2014-10-09
Applicant: 南通大学
IPC: G06F9/46
Abstract: 本发明提供一种面向Hadoop的动态调度方法,包括以下步骤:S1:设置每个节点的计算能力是一致的;且每个作业的执行时间随着执行次数的增加而线性减少;S2:判断作业是否为同类作业,且获取并统计同类作业的执行情况;S3:解析每个作业提交时所制定的期望执行时间;S4:若判定作业为同类作业,则会建立代价模型得到作业权重值;S5:若判断作业不为同类作业,则分配最低权重值;S6:根据作业权重值调整作业实际资源量,提高实时作业的响应度。本发明可以有效地解决现有调度算法在调度实时作业上的不足,并对实时作业进行资源控制,以此提高实时作业效率的能力,从而达到用户精细控制作业执行速度的功能。
-
公开(公告)号:CN103631922A
公开(公告)日:2014-03-12
申请号:CN201310642219.7
申请日:2013-12-03
Applicant: 南通大学
IPC: G06F17/30
CPC classification number: G06F17/30864
Abstract: 针对单一节点不能胜任大规模Web信息提取需求的问题,本申请公开了一种基于Hadoop集群的大规模Web信息提取方法及系统,汇聚处理节点根据设定提取条件提取待查询网站种子,根据各查询节点的处理能力进行负载均衡分割,并向各查询节点下发的待查询种子,各查询节点根据待查询种子在本地进行网页提取,并进行上报,汇聚处理节点将上报的信息汇聚后得到大规模Web信息。该申请以Hadoop集群方式进行海量数据提取,并以高效的Hbase类型的内存数据库进行数据处理,较之单机及传统关系型数据库的提取效率有极大性能的提升,并具有高可靠性与高扩展性。
-
公开(公告)号:CN104516982A
公开(公告)日:2015-04-15
申请号:CN201510004508.3
申请日:2015-01-06
Applicant: 南通大学
IPC: G06F17/30
CPC classification number: G06F16/951
Abstract: 本发明公开了一种基于Nutch的Web信息提取系统,包括信息提取模块、存储模块、索引模块和检索模块;所述信息提取模块通过Nutch框架从互联网中抓取网页数据,解析数据;所述存储模块用于存储过滤掉网页数据的网页提取文件;所述索引模块用于将Nutch采集的网页信息传递给Solr建立索引;所述检索模块使用Solr响应用户查询请求并把查询结果以XML页面形式显示给用户。提高了信息提取的响应和运行速度、稳定性及可扩展性,减少程序占用过多的存储空间,为用户能够及时地获得有效信息提供保证。
-
公开(公告)号:CN208076964U
公开(公告)日:2018-11-09
申请号:CN201820107798.3
申请日:2018-01-23
Applicant: 中天电气技术有限公司 , 南通大学
IPC: G05B19/042 , G01D21/02
Abstract: 本实用新型公开了一种多功能开关柜状态显示仪,包括单片机控制模块、电源模块、按键输入模块、三相电检测模块、温湿度检测模块、人体感应检测模块、开关状态显示模块、液晶触摸屏模块、CAN总线通讯模块、RS485通讯模块、继电器输出模块。单片机控制模块分别与其他所有模块相连,负责采集开关柜的状态和参数,经过运算后对开关柜进行控制。本实用新型对外提供CAN总线通讯接口和RS485通讯接口,方便外部设备对多功能开关柜状态显示仪的监控;采用液晶触摸屏模块,提升了用户体验;加入人体红外感应功能,有效降低多功能开关柜状态显示仪的功耗,并延长了多功能开关柜状态显示仪的使用寿命。
-
-
-
-
-