本发明实施例涉及一种视频编码、解码方法、装置及视频编解码系统，方法包括：获取视频图像数据的原始序列；对原始序列中具有第一尺寸的第一图像进行预测、变换、量化、编码得到第一图像的码流；根据第一图像的预测模式，对原始序列中具有第二尺寸的第二图像进行预测、变换、量化，获得第二图像的变换域数据；若第二尺寸与所述第一尺寸不相同，以第一图像的变换域数据为参考对第二图像的变换域数据在变换域上进行预测，对预测后的第二图像的变换域层间预测数据进行编码，获取第二图像的码流。本发明实施例提供的视频编码、解码方法、装置及视频编解码系统由于不需要对原始序列中的第一图像在变换域上再次进行反变换，因此降低了编码的复杂度。