本发明公开了一种像素对匹配与双窗口判别的高光谱异常检测深度学习方法，包括：像素对匹配；构建光谱稠密连接深度卷积神经网络；采用双窗口判别准则；计算平均相似度；设定判别阈值，输出异常检测结果。本发明对训练图像应用像素对匹配，构建新的训练样本和标签数据，丰富训练样本数据，解决真实标签缺乏问题；通过一维卷积以及光谱稠密连接单元搭建的深度卷积神经网络，能够充分提取像素对的光谱特征信息，提高训练网络对于输入像素对的异常差异鉴别能力，避免梯度消失现象。本发明可广泛应用于环境监测、地质勘探和国土安全等领域。