本发明设计了一种基于深度学习的轴承故障诊断方法及装置，包括传感数据采集模块、轴承故障诊断模块和模型推理加速模块。该方法先由加速度传感器采集轴承振动信号参数信息，并通过ADS1256将其转化为数字信号；然后使用短时傅里叶变换对振动信号进行时频转换，生成二维时频图像；针对上述生成的图像数据，采用残差结构和通道注意力融合的方法构建轻量化卷积神经网络对时频图像进行故障特征提取，并且通过模型推理加速模块能够快速的判断轴承的故障类型，最后将诊断结果输出至终端。该装置能够在短时间内准确判断轴承故障类型，降低了轴承故障诊断的难度，提升了机械设备的安全性。本发明具有方便携带、准确率高、诊断速度快的优点。