Cara kerja Vision Transformers (ViT) secara sederhana dan perbedaannya dengan CNN

Visualisasi Receptive Field: CNN vs ViT

Perbandingan Pemrosesan Piksel Lokal (Konvolusi) vs Koneksi Global (Self-Attention)

Klik sembarang patch untuk melihat Attention Weights

Filter Konvolusi 3x3 (Mekanisme Lokal) Langkah 1 / 36

CNN memindai piksel gambar secara lokal menggunakan sliding window (kernel 3x3). Informasi hanya diproses dari piksel tetangga yang berdekatan pada setiap langkah konvolusi.

Feature(x,y) = ∑ (Pixel_3x3 × Kernel_3x3)