一种基于编码和机器学习的多语种识别方法

    公开(公告)号:CN106528535A

    公开(公告)日:2017-03-22

    申请号:CN201611001398.6

    申请日:2016-11-14

    CPC classification number: G06F17/275

    Abstract: 本发明提供了一种基于编码和机器学习的多语种识别方法,是计算机对自然语言的处理技术。本方法分别通过机器学习单元和编码识别单元对文本进行语种识别,编码识别时还统计各语种的单词量,当机器学习单元的识别结果在编码识别单元的判定区间内,且二者识别的语言一致时,输出单一识别语言,当编码识别单元识别到多种语言时,进行混合语言规则判断,若第二语言在文本中的单词量比例达到设定比例,则判定文本为混合语言。本发明对长文本可先作随机采样再判定,以提高识别效率。本发明能够准确、高效地实现中文简繁体、日、法、英等99种语言的语种识别,同时支持混合语种文本识别,在海量数据分析以及舆情监控中具有广泛的应用前景。

    网络视频流乱序分段解码方法

    公开(公告)号:CN104202659B

    公开(公告)日:2017-10-17

    申请号:CN201410471628.X

    申请日:2014-09-16

    Abstract: 本发明提供了一种网络视频流乱序分段解码方法,涉及视频流处理技术领域。本方法首先从网络中捕获传输来的视频数据包,并为每个视频流建立一个缓存,将数据包按序存在对应的位置,当连续数据包达到指定大小时,进行视频解码。采用FFmpeg技术进行数据块解码,解码时修改相应的上下文,通过伪装的方式让FFmpeg继续解码工作。此外本发明采用具有多个加速单元的独立板卡进行解码,加速单元采用FFmpeg技术实现,从而可实现并行解码。无论网络视频流以何种顺序接收,本发明方法均能以数据块为单位将视频流拼接并进行最大程度解码,并可支持多数据流并发解码;本发明方法提高了视频流有效帧数的接收率和解码率。

    网络音频MP3流乱序分段解码方法

    公开(公告)号:CN104202656A

    公开(公告)日:2014-12-10

    申请号:CN201410472027.0

    申请日:2014-09-16

    Abstract: 本发明提供了一种网络音频MP3流乱序分段解码方法,涉及音频流处理技术领域。本方法从网络中捕获音频MP3数据包,获取MP3数据帧并根据位置信息存储在缓存中,一个session建立一个缓存,当有连续MP3数据帧达到指定大小时,进行音频解码。采用FFmpeg技术进行数据块解码,解码时修改相应的上下文,通过伪装的方式让FFmpeg进行解码。采用具有多个加速单元的独立板卡进行解码,加速单元采用FFmpeg技术实现,从而可实现并行解码。无论网络音频MP3以何种顺序接收,本发明方法均能以固定数量的音频帧为单位拼接并进行最大程度解码,并可支持多数据流并发解码,提高了音频流有效帧数的接收率和解码率。

    PCI‑E零拷贝DMA数据传输方法

    公开(公告)号:CN104239249B

    公开(公告)日:2017-08-04

    申请号:CN201410472223.8

    申请日:2014-09-16

    Abstract: 本发明提供了一种PCI‑E零拷贝DMA数据传输方法,属于PCI‑E数据传输技术领域。本方法首先在数据源和数据目的系统中各自分配适当大小的物理内存,并分别对两个系统中分配的物理内存使用双向链表建立空闲内存池和工作内存池;在数据源系统上,用户应用程序传输数据时,从空闲内存池取得空闲内存后直接进行数据填充,数据填充完后传输给数据目的系统;在数据目的系统,将接收的数据存入工作内存池,用户应用程序使用相应的API接口从工作内存池中取得数据进行使用;使用完毕后将相应的内存归还给空闲内存池。本发明极大地减轻了CPU的压力,减少了系统调用,对于大规模小数据量的传输减轻了用户内核空间的切换,提高了系统效率。

    网络视频流乱序分段解码方法

    公开(公告)号:CN104202659A

    公开(公告)日:2014-12-10

    申请号:CN201410471628.X

    申请日:2014-09-16

    Abstract: 本发明提供了一种网络视频流乱序分段解码方法,涉及视频流处理技术领域。本方法首先从网络中捕获传输来的视频数据包,并为每个视频流建立一个缓存,将数据包按序存在对应的位置,当连续数据包达到指定大小时,进行视频解码。采用FFmpeg技术进行数据块解码,解码时修改相应的上下文,通过伪装的方式让FFmpeg继续解码工作。此外本发明采用具有多个加速单元的独立板卡进行解码,加速单元采用FFmpeg技术实现,从而可实现并行解码。无论网络视频流以何种顺序接收,本发明方法均能以数据块为单位将视频流拼接并进行最大程度解码,并可支持多数据流并发解码;本发明方法提高了视频流有效帧数的接收率和解码率。

    网络音频MP3流乱序分段解码方法

    公开(公告)号:CN104202656B

    公开(公告)日:2017-08-04

    申请号:CN201410472027.0

    申请日:2014-09-16

    Abstract: 本发明提供了一种网络音频MP3流乱序分段解码方法,涉及音频流处理技术领域。本方法从网络中捕获音频MP3数据包,获取MP3数据帧并根据位置信息存储在缓存中,一个session建立一个缓存,当有连续MP3数据帧达到指定大小时,进行音频解码。采用FFmpeg技术进行数据块解码,解码时修改相应的上下文,通过伪装的方式让FFmpeg进行解码。采用具有多个加速单元的独立板卡进行解码,加速单元采用FFmpeg技术实现,从而可实现并行解码。无论网络音频MP3以何种顺序接收,本发明方法均能以固定数量的音频帧为单位拼接并进行最大程度解码,并可支持多数据流并发解码,提高了音频流有效帧数的接收率和解码率。

    PCI-E多缓冲区DMA数据传输方法

    公开(公告)号:CN104239248A

    公开(公告)日:2014-12-24

    申请号:CN201410472222.3

    申请日:2014-09-16

    Abstract: 本发明提供了一种PCI-E多缓冲区DMA数据传输方法,涉及PCI-E数据传输技术领域。本方法在数据源系统和数据目的系统中各自分配N块物理内存,分别对两个系统中的N块物理内存通过双向链表建立空闲内存池及工作内存池;从空闲内存池获取用于写入数据的内存,写入数据的内存加入工作内存池;在环形缓冲区中写入所要操作的内存的物理起始地址和大小。本发明通过空闲内存池及工作内存池的使用减少内存拷贝次数和系统调用次数;通过环形缓冲区增加DMA的数据传输速率。本发明在大数据量的传输下降低了系统的等待开销,提高了传输效率。

    PCI‑E多缓冲区DMA数据传输方法

    公开(公告)号:CN104239248B

    公开(公告)日:2017-06-06

    申请号:CN201410472222.3

    申请日:2014-09-16

    Abstract: 本发明提供了一种PCI‑E多缓冲区DMA数据传输方法,涉及PCI‑E数据传输技术领域。本方法在数据源系统和数据目的系统中各自分配N块物理内存,分别对两个系统中的N块物理内存通过双向链表建立空闲内存池及工作内存池;从空闲内存池获取用于写入数据的内存,写入数据的内存加入工作内存池;在环形缓冲区中写入所要操作的内存的物理起始地址和大小。本发明通过空闲内存池及工作内存池的使用减少内存拷贝次数和系统调用次数;通过环形缓冲区增加DMA的数据传输速率。本发明在大数据量的传输下降低了系统的等待开销,提高了传输效率。

    PCI-E零拷贝DMA数据传输方法

    公开(公告)号:CN104239249A

    公开(公告)日:2014-12-24

    申请号:CN201410472223.8

    申请日:2014-09-16

    Abstract: 本发明提供了一种PCI-E零拷贝DMA数据传输方法,属于PCI-E数据传输技术领域。本方法首先在数据源和数据目的系统中各自分配适当大小的物理内存,并分别对两个系统中分配的物理内存使用双向链表建立空闲内存池和工作内存池;在数据源系统上,用户应用程序传输数据时,从空闲内存池取得空闲内存后直接进行数据填充,数据填充完后传输给数据目的系统;在数据目的系统,将接收的数据存入工作内存池,用户应用程序使用相应的API接口从工作内存池中取得数据进行使用;使用完毕后将相应的内存归还给空闲内存池。本发明极大地减轻了CPU的压力,减少了系统调用,对于大规模小数据量的传输减轻了用户内核空间的切换,提高了系统效率。

    支持海量数据分组统计的智能索引构建、查询及维护方法

    公开(公告)号:CN105631003B

    公开(公告)日:2019-02-22

    申请号:CN201511001092.6

    申请日:2015-12-28

    Inventor: 李斌斌 周游

    Abstract: 本发明提供了一种支持海量数据分组统计的智能索引构建、查询及维护方法,属于大数据处理技术领域。本方法建立了智能索引的数据组织结构,以使智能索引支持海量数据分组统计;智能索引的数据组织结构包括索引元数据和索引数据,索引元数据是创建索引的依据,包括分组列簇和统计列簇,索引数据是对原始数据构建的索引。本方法在写入数据时在内存中实时创建智能索引,利用智能索引进行分组统计的操作,也可快捷对智能索引进行删除。本发明实现了对海量数据的实时自动创建索引,在对海量数据进行分组统计时极大降低了磁盘I/O和计算时间,从而大幅提高了分组统计效率,并实现了对索引数据全生命周期的自动管理。

Patent Agency Ranking