本发明公开了一种基于行车视频的高风险路段鉴别系统及方法，属于交通安全技术领域，该方法包括：利用无人机获取行车视频；根据获取的行车视频，对晃动的帧画面进行配准处理；根据经配准后的行车视频，对车辆进行标记与连续跟踪，得到车辆与时间对应的连续速度与行驶轨迹数据；对车道线进行标定，并根据所述车辆的车速与行驶轨迹数据，提取车道线各桩号的断面数据；根据所述断面数据，得到包括车辆与车道线横向距离、连续加速度、横向加速度以及断面车速梯度的车辆行驶特征；根据所述车辆行驶特征对高风险路段进行鉴别，完成基于行车视频的高风险路段鉴别。本发明解决了现有技术中难以实现稳定、连续、高精度的提取车辆与意向车道线距离的问题。