本发明公开了一种基于背景消除的船只目标跟踪方法及装置，该方法包括：获取采集到的第i帧影像；从所述第i帧影像中确定所要跟踪的船只目标区域；对所述船只目标区域进行分块处理，形成大小相同的多个目标块；从所述船只目标区域四周选取多个采样点，分别以每个所述采样点为中心生成与所述目标块大小相同的背景块，得到多个背景块；计算出具有相似区域的目标块和背景块的组合对；对所述组合对中目标块计算得到的相似区域裁剪和剔除，得到修正后的船只目标区域；利用修正后的船只目标区域作为第i+1帧影像中的船只目标进行跟踪。本发明通过对船只目标区域中相似区域的裁剪剔除，得到船只目标的轮廓区域，从而对船只目标下一帧进行准确的跟踪。