本发明涉及一种基于文本与视频融合的违规视频检测方法。包括：获取直播平台的视频及相应直播主题的文本数据；对于获取的视频文本数据采用双流模型分别进行处理，处理后的数据送入特征抽取层进行浅层信息抽取；再将采集到的特征信息送入深层特征抽取器，用于对上一层抽取的特征进行关联前后文学习，从而有效学习连续帧所表达的深层语义关系；将抽取到的深层语义关系送入融合层进行信息融合，从而通过模态互补更好进行违规视频识别；最后，将融合后的特征送入全连接层，输出最终的分类信息。通过本发明，能够及时准确地识别互联网直播中的违规行为，节约人力成本，本算法能够在相关领域进行推广，自适应匹配多种文本、视频分类任务，具有较好的延展性。