-
公开(公告)号：CN114297199A
公开(公告)日：2022-04-08
申请号：CN202111636366.4
申请日：2021-12-29
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/22 , G06F16/215
Abstract: 本发明公开了一种基于关联可信度计算的数据筛选方法，包括以下步骤：收集数据资源，生成原始数据汇总表；清洗原始数据汇总表，生成汇总数据表；设计汇总数据表中关联字段可信度的评估指标，计算关联字段在每个指标下的可信度得分；采用变异系数法，计算所述评估指标的指标系数；结合所述可信度得分和所述指标系数，计算关联字段的可信度；对关联字段的可信度进行抽样，与真实数据交叉验证，优化后生成可信度最高的落地数据表。在大数据处理体系中，本方案通过综合各类数据、进行特征选择，建立可信度评分模型，对获取的原始数据进行关联可信度打分，为数据分析、应用提供数据可信程度的支撑和参考，提升数据分析、应用的效果。
-
公开(公告)号：CN117312358A
公开(公告)日：2023-12-29
申请号：CN202311124132.0
申请日：2023-09-01
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 本申请提供一种基于动态封装的用户自定义函数实现方法及系统，通过动态加载用户业务类，并将类中指定业务实现方法的调用过程封装在Scala Function类中，构建出一个通用的Spark UDF供用户提交Spark SQL时使用，使得用户可以根据自己的开发规范和语法结构进行常规业务开发，而不需要受到SparkUDF编写规则和语法约束的限制，减少用户的学习和开发成本，同时解除业务代码与Spark框架的绑定，使得业务代码能够很容易的集成到其他组件中，提高业务代码的可复用性。
-
Patent Agency Ranking
公开(公告)号：CN115964050A
公开(公告)日：2023-04-14
申请号：CN202211669162.5
申请日：2022-12-23
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 公开了用户自定义函数的实现方法和系统，包括系统服务接口接受并解析从用户提交的Flink SQL任务及UDF请求参数；响应于用户提交的UDF请求参数中仅提供UDF唯一标识，从系统缓存中获取UDF唯一标识；响应于UDF请求参数中提供了UDF源码，根据UDF源码获取对应开发语言的解释器或编译器，将一或多个使用不同语言开发的UDF源码从文本形式动态转换为JVM对象，并向Flink SQL运行时环境注册JVM对象所指向的UDF函数；响应于成功执行UDF相关Flink SQL任务，将UDF源码相关信息进行持久化存储，同时将UDF唯一标识写入系统缓存。本申请可以减少持久化存储的远程连接开销，解决UDF重复编译问题，加快调试效率，解决不同技术领域的研发人员和普通用户协同开发难题。
-
公开(公告)号：CN117311929A
公开(公告)日：2023-12-29
申请号：CN202311124015.4
申请日：2023-09-01
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 公开了一种异构数据源采集方法和系统，包括主线程、一级线程和二级线程，其中，所述主线程包括：主线程池管理模块、主线程中断控制模块、时间片轮转控制模块、分组扫描模块，所述一级线程包括：一级线程池管理模块、一级线程中断响应模块、分组数据块扫描模块，所述二级线程包括二级线程中断处理模块、数据采集模块。本申请在系统资源有限的各数据源节点服务器上，结合时间片轮转方式，采用动态多级线程池公平调度的方法，对本地异构数据源的采集任务进行动态管理，合理分配系统时间片和线程资源，使得各类数据源在任务和数据等层面均得到相对公平的调度和处理。
-
公开(公告)号：CN115934286A
公开(公告)日：2023-04-07
申请号：CN202211667536.X
申请日：2022-12-23
Applicant: 厦门市美亚柏科信息股份有限公司
Abstract: 公开了用于轻客户端的Spark作业提交方法和系统，包括动态代理接收到前端用户发送的作业处理请求，选择第一后端服务处理请求；第一后端服务将请求写入消息队列，通知前端用户请求提交成功进入调度队列等待处理；集群中空闲的第二后端服务从消息队列中获取请求，第二后端服务利用Spark驱动进程调用集执行器对请求进行调度执行，定时将处理进度、结果和采样数据写入NoSQL数据库；前端用户接收到请求提交成功信息后向动态代理发送获取实时进度和处理结果的请求，动态代理根据请求信息，选择第三后端服务处理，从数据库中获取实时进度和处理结果返回前端用户。本申请能够减轻边缘节点服务器的资源使用负担，降低故障发生频率，高效地实现轻客户端的交互效果。
-
公开(公告)号：CN117312357A
公开(公告)日：2023-12-29
申请号：CN202311124131.6
申请日：2023-09-01
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06F16/242 , G06F16/2453 , G06F16/2452 , G06F16/2455 , G06F16/182 , G06F16/28 , G06N20/00 , G06F18/2413 , H04L67/02
Abstract: 本申请提供了一种基于SQL实现机器学习算法的方法及系统，提高了机器学习算法的执行效率和可维护性，通过将SQL语句转化为机器学习算法的执行流程，在SQL语句中嵌入机器学习算法的逻辑，以实现数据处理、特征工程、模型训练和预测等一系列机器学习任务。与传统的机器学习算法相比，具有更高的灵活性和可扩展性，能够在不同数据源和数据类型之间进行快速切换，实现了机器学习和数据处理的无缝集成，简化了机器学习任务的编码过程，同时降低了算法实现的复杂度和开发成本。并且，本申请的方法还支持在分布式计算环境下进行大规模的机器学习任务，通过利用计算引擎的优化能力和分布式计算框架的并行处理机制可以提高任务的执行效率。
-
公开(公告)号：CN116152923A
公开(公告)日：2023-05-23
申请号：CN202310065402.9
申请日：2023-01-13
Applicant: 厦门市美亚柏科信息股份有限公司
IPC: G06V40/20 , G06V10/62 , G06V20/52 , G06V10/774 , G06V10/82
Abstract: 本发明提出了一种适用于夜间的目标重识别的方法，该方法包括如下步骤：对标准化流模块进行训练；进一步通过标准化流模块进行预处理生成所述低光照训练集Xl；收集并获取训练集，所述训练集包括原始训练集X以及低光照训练集Xl；通过reid网络对所述训练集中的图片样本数据进行特征识别。本发明的技术方案针对夜间图片采集的不利干扰，在正常识别网络之外引入标准化流模块对原始采集图片进行低光照增强，通过该模块有效提高了重识别网络对于低光照图片的识别能力，为实现夜间条件下的目标重识别提供了一种行之有效的技术方案。
-
-
-
-
-
-
Search Results
7
records
(took 0.039 seconds)
