視頻是時變圖像圖像序列，是時空（spatial-temperal）信號，與靜態圖像相比不僅在空間上存在冗餘，而且在時間上存在冗餘。視頻的壓縮一方面可以利用圖像本身的空間相關性，還可以利用時間上的相關性。視頻編碼需要將楨內（intraframe）編碼和楨間（interframe）編碼混合起來達到高的壓縮率。

楨內（intraframe）編碼即單幅圖像本身的編碼過程，通常採用DCT變換編碼方法。

楨間（interframe）編碼可分為無運動補償的差分脈碼調製（DPCM）和有運動補償的差分脈碼調製。

JPEG 是典型的幀內編碼方案，而MPEG 是幀間編碼方法。前者大多用於靜止圖像處理，而後者主要用於對運 動圖像的處理。

預測編碼（Prediction Coding）是視頻編碼的核心技術之一，指利用已編碼的一個或幾個樣本值，根據某種模型或方法，對當前的樣本值進行預測，並對樣本真實值和預測值之間的差值進行編碼。

我們可以簡單地將視頻當做是一種有記憶信源，預測編碼通過預測模型消除像素間的相關性，得到的差值信號可以認為是沒有相關性的，因此可以作為無記憶信源進行編碼。

預測編碼的基本過程：對於輸入像素值x(n)，首先利用已編碼像素的重建值得到當前像素的預測值p(n)，然後對二者的差值e(n)進行量化、熵編碼，同時利用量化後的殘差e'(n)與預測值p(n)得到當前像素的重建值x'(n)，用於預測之後待編碼的像素。

對應的解碼過程為：經熵解碼可以得到當前像素預測誤差的重建值e’(n)，將其與預測值p(n)相加即可得到當前像素的重建值x’(n)。 為了保證編碼器和解碼器中預測有完全相同的參考基準，在利用空時域相關性進行預測時，需要用含失真的解碼像素x'(n)作為參考像素，從而避免編碼器和解碼器中因不同預測參考產生誤差累積，也就是說，在編碼器內部需要內嵌一個解碼器。