-
公开(公告)号：CN116775574A
公开(公告)日：2023-09-19
申请号：CN202310745976.0
申请日：2023-06-21
Applicant: 中国联合网络通信集团有限公司
Abstract: 本申请提供一种小文件处理方法、设备、装置及存储介质，涉及大数据流式计算技术领域。该方法通过获取Flink框架运行过程中的待处理事件数据和任务数量，并基于待处理事件数据获取事件发生时间，根据事件发生时间判断数据类型为正常数据或者迟到数据，并根据数据类型获取相应的任务索引值，根据任务索引值获取目标子任务处理待处理数据，并将处理后的数据存储至目标子任务对应的目录文件中，亦即通过采用合适数量的子任务对数据进行处理，避免了由于任务反压，造成延长分区目录文件对下游系统可见时间的情况出现，以及数据不一致的问题，提升了用户的使用体验。
-
公开(公告)号：CN118158654A
公开(公告)日：2024-06-07
申请号：CN202410108197.4
申请日：2024-01-25
Applicant: 中国联合网络通信集团有限公司
IPC: H04W8/22 , G06F16/903
Abstract: 本申请提供一种频段号的解析方法、装置、设备及存储介质。该方法包括：可以在获取到任一终端设备的终端无线能力UERC信息后，对UERC信息中的频段字段进行解码，得到频段字符串，基于预设的NR频段信息，获取频段主字符串，根据频段主字符串和频段字符串，采用BM算法进行解析处理，得到终端设备支持的至少一个频段信息。本申请的方法，在对终端设备支持的频段号进行解析的过程中，采用了更高效的BM算法，减少了非必要的字符匹配，减低了解析过程中所需的时间，提高了匹配终端设备支持NR频段号的效率。
-
公开(公告)号：CN117135660A
公开(公告)日：2023-11-28
申请号：CN202311188593.4
申请日：2023-09-14
Applicant: 中国联合网络通信集团有限公司
Abstract: 本申请提供一种终端频段支持能力检测方法、装置、电子设备和存储介质，可用于通信技术领域。该方法包括：向终端发送无线能力查询请求；接收终端上报的无线能力信息；其中，无线能力信息包括表示终端支持的频段信息的编码字符串，编码字符串是终端利用预设的编码算法对频段信息进行编码后获得；提取无线能力信息中的编码字符串，并基于编码字符串，提取多个子字符串；针对各个子字符串，将子字符串与主字符串进行字符串匹配，获得匹配结果；其中，主字符串是利用编码算法对无线通信标准中预设的频段号进行编码后获得；基于匹配结果，获得子字符串对应的频段号。本申请的方法，减少了终端频段支持能力的检测时间，提升了检测效率。
-
Patent Agency Ranking
公开(公告)号：CN116776866A
公开(公告)日：2023-09-19
申请号：CN202310744531.0
申请日：2023-06-21
Applicant: 中国联合网络通信集团有限公司
IPC: G06F40/226 , G06F40/232
Abstract: 本申请提供一种面向Flink的数据质量控制方法、设备及存储介质，涉及大数据技术领域。该方法将获取的原始数据划分成包括多个目标字段的字符串数组，并将多个目标字段分别同时发送至对应的字段质检器中质检，当检测到存在未通过对应字段质检器质检的目标字段时，在将存在问题的目标字段记录至数据质量问题集合后，将当前的字符串数组丢弃，以生成新的字符串数组，从而避免了对单个字段存在数据质量问题的数据记录进行重复检查；若多个目标字段全部通过对应的字段质检器质检，在字符串数组依次通过多个行质检器质检后，将字符串数组发送至Flink流式计算算子中进行流式计算，同时由于通过一个预处理算子进行质检，从而简化了数据质量问题记录的收集操作。
-
公开(公告)号：CN117271442A
公开(公告)日：2023-12-22
申请号：CN202310973980.2
申请日：2023-08-03
Applicant: 中国联合网络通信集团有限公司
Abstract: 本申请提供一种基于Flink的数据处理方法、设备及存储介质。该方法包括：响应于数据计算任务，获取目标数据流，基于预设方式确定目标数据流对应的多个待处理数据；基于待处理数据和待处理数据对应的事件时间字段值，确定时间分区目录，基于时间分区目录确定待处理数据对应的分区索引；基于分区索引将待处理数据写入相应的时间分区，基于Flink生成待处理数据对应的结果文件。本申请的方法实现了降低结果文件生成数量并提升文件读写性能的技术效果。
-
公开(公告)号：CN117076458A
公开(公告)日：2023-11-17
申请号：CN202311086152.3
申请日：2023-08-25
Applicant: 中国联合网络通信集团有限公司
IPC: G06F16/22 , G06F16/23 , G06F16/2455
Abstract: 本申请提供一种面向Flink的维表关联方法、设备及存储介质，涉及大数据技术领域。该方法通过在当前任务管理器的统一维表关联算子的多个子任务中确认目标子任务，在控制目标子任务向外部数据库发送查询请求，并获取到外部数据库发送的维表数据后，控制目标子任务向设置于任务管理器的元数据空间的静态维表对象载入维表数据，从而避免了在短时间内对外部数据库造成很大的运行压力，控制目标子任务和其余多个子任务根据获取的原始数据和静态维表对象中的维表数据执行维表关联操作，使得同一个任务管理器中所有的子任务共享同一份维表数据，从而节约了物理内存资源。
-
公开(公告)号：CN118838918A
公开(公告)日：2024-10-25
申请号：CN202410154937.8
申请日：2024-02-02
Applicant: 中国联合网络通信集团有限公司
Inventor： 周扬
IPC: G06F16/2453 , G06F16/2455 , G06F16/25 , G06F16/22
Abstract: 本申请提供一种基于压缩位图的高并发数据处理方法、设备及存储介质。该方法包括：将获取待处理的多个业务信息中的用户号码；通过多个第一线程判断用户号码是否与号码表中的用户号码匹配，获取与所述号码表相匹配用户号码；其中，每个第一线程对应一个业务信息，每个第一线程通过读锁对所述号码表进行读取操作，且多个第一线程之间的读锁不冲突；通过第二线程接收目标用户号码的增删信息，且阻塞所述第一线程，所述第二线程通过写锁执行所述增删信息操作，以更新号码表，所述第二线程与所述第一线程互斥；根据所述匹配用户号码，进行业务处理。本申请的方法，增加了大数据处理线程安全性，同时还提高了高并发数据处理的高效性。
-
公开(公告)号：CN117008959A
公开(公告)日：2023-11-07
申请号：CN202311002248.7
申请日：2023-08-09
Applicant: 中国联合网络通信集团有限公司
IPC: G06F8/72
Abstract: 本申请提供一种面向Flink的数据处理方法、装置、设备及存储介质，涉及大数据技术领域。该方法通过获取的原始数据生成包括多个目标字段的字符串数组，并将多个目标字段分别同时发送至根据用户设置的元数据配置信息生成的字段解释器中，获取各自字段解释器生成的对应的字段对象，当字段解释器转换字段出现异常，则将当前的字符串数组丢弃，以获取新的原始数据，若字段解释器转换字段正常，则根据生成的多个字段对象获取目标数据对象，并将目标数据对象发送至Flink流式计算子中进行流式计算，实现了根据元数据自动将原始数据字段转换成指定基本数据类型的字段对象，从而提高了代码的可维护性和复用性，并减少了Row类型数据对象序列化后的大小。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.032 seconds)
