Vision Transformer: Ringkasan Matematis untuk Peneliti

Penelitian komprehensif tentang formulasi matematis Vision Transformer (ViT), mencakup patch embedding, positional encoding, self-attention, dan arsitektur transformasional yang mendasari sistem visi berbasis Transformer.

Patch Embedding

Proyeksi linier dari potongan gambar menjadi vektor tersemat

Self-Attention

Mekanisme perhatian global untuk hubungan antar-patch

Arsitektur

Struktur enkoder Transformer untuk representasi global

Patch Embedding: Proyeksi Linier Gambar

Vision Transformer (ViT) memproses gambar dengan memperlakukan mereka sebagai urutan potongan-potongan yang lebih kecil, analog dengan bagaimana kata-kata diproses dalam bahasa alami. Gambar ukuran 224 × 224 dibagi menjadi 14 × 14 = 196 potongan.

Setiap vektor potongan dikalikan dengan matriks proyeksi terpelajari. Untuk ukuran potongan 16 × 16, dan dimensi sematan D = 768.

Temuan kritis: Setelah proyeksi linier, kita memperoleh 196 sematan potongan, masing-masing direpresentasikan sebagai vektor 1D ukuran 1024.

Ilustrasi proses patch embedding dalam Vision Transformer dengan latar belakang putih bersih. Di sisi kiri, gambar kotak persegi panjang berwarna abu-abu terang dengan ukuran 224×224 piksel menampilkan kisi 14×14 garis hitam tipis membentuk 196 kotak kecil identik. Setiap kotak berukuran 16×16 piksel ditandai dengan angka indeks berwarna biru tua (nomor 1 hingga 196) di tengahnya. Di sisi kanan, terdapat 196 vektor vertikal berbentuk persegi panjang tinggi berwarna biru muda transparan dengan teks 'D=768' ditulis horizontal di tengah setiap vektor. Panah biru tebal menghubungkan setiap kotak potongan di sisi kiri ke vektor sematan di sisi kanan, menunjukkan proses proyeksi linier. Di bagian bawah, rumus matematika 'X_patch → W_proj × X_patch + b' ditulis dengan huruf biru gelap di atas latar belakang putih transparan. Teks judul 'Patch Embedding: Proyeksi Linier dari Potongan ke Vektor Sematan' berada di atas ilustrasi dengan huruf besar berwarna biru tua.

Proses Matematis

Setelah membangun potongan-potongan gambar, lapisan proyeksi linier digunakan untuk memetakan "array" potongan gambar ke "vektor" sematan potongan. Ini adalah transformasi linier umum yang diterapkan secara seragam ke setiap potongan, terlepas dari kontennya.

Setiap potongan kemudian diratakan (diubah menjadi array 1D) dan dilewatkan melalui proyeksi linier untuk memperoleh vektor ukuran tetap. Proyeksi linier ini memungkinkan model mempelajari representasi tingkat tinggi dari potongan-potongan tersebut.

Dimensi Potongan

Potongan berukuran 16 × 16 × 3 diratakan menjadi vektor panjang 768 intensitas piksel mentah sebelum proyeksi.

Sematan Terpelajari

Setiap potongan yang diratakan dipetakan ke sematan D-dimensi terpelajari, memungkinkan model mempelajari representasi tingkat tinggi yang sensitif terhadap konten gambar.

Positional Encoding: Representasi Spasial 2D

Diagram posisi enkoding dalam Vision Transformer dengan latar belakang putih bersih. Di tengah, grid 2D berukuran 14×14 kotak kecil berwarna abu-abu muda dengan nomor indeks berwarna biru tua (1 hingga 196) di setiap kotak. Di atas grid, simbol sinusoida berwarna ungu gelap berbentuk gelombang sinus dengan label 'Sinusoidal PE' di sampingnya. Di bawah grid, simbol rotasi berbentuk lingkaran berwarna biru dengan panah melingkar dan label 'Rotary PE'. Di sisi kanan, dua vektor vertikal tinggi berwarna biru transparan dengan teks 'Position Vector' di sampingnya. Panah biru menghubungkan setiap kotak grid ke vektor posisi yang sesuai. Di bagian bawah, rumus matematika 'PE(pos, d) = sin(pos/10000^(2d/D))' ditulis dengan huruf ungu gelap di atas latar belakang putih transparan. Teks judul 'Positional Encoding: Representasi Spasial 2D untuk Perhatian Global' berada di atas diagram dengan huruf besar berwarna biru tua.

Enkoding posisi merupakan teknik penting yang menekankan pentingnya mereka dalam transformer tradisional dan penggunaannya dengan enkoding posisi 2D dalam transformer visi.

Enkoding posisi (PE) sangat penting untuk transformer visi karena perhatian sendiri (self-attention) tidak memiliki kesadaran spasial inheren. Enkoding posisi absolut (absolute positional encodings) memberikan informasi lokasi relatif kepada model.

Peringatan: Dalam bentuk aslinya, transformer menggunakan enkoding posisi global, yang bukan invarian translasi. Ini berarti bahwa posisi absolut potongan mempengaruhi representasi model.

Self-Attention: Mekanisme Perhatian Global

Vision Transformer (ViT) mencapai hasil yang sangat baik dibandingkan jaringan konvolusi state-of-the-art dengan menggunakan perhatian global pada seluruh gambar. Ini memungkinkan model menangkap hubungan jarak jauh antar potongan.

Definisi Matematis

Self-Attention (SA) memetakan sekumpulan pasangan kunci-nilai ke output dengan mengagregasi informasi dari setiap pasangan sesuai dengan kompatibilitasnya dengan sebuah query. Ini adalah bentuk kombinasi linier khusus dari token.

Komponen QKV

Q, K, V diperoleh dengan mengalikan sematan input dengan matriks bobot terpelajari spesifik untuk Query, Kunci, dan Nilai. Ini memungkinkan model mempelajari representasi yang berbeda untuk setiap peran.

Scaled Dot-Product Attention

Output dihitung sebagai: Attention(Q, K, V) = softmax(QK^T/√d_k)V Operasi softmax menghasilkan matriks perhatian A di mana setiap baris berjumlah satu.

Dengan membagi produk titik dengan √d_k, kita menormalkan input ke fungsi softmax, memastikan bahwa skor tetap dalam rentang yang wajar. Ini mencegah skor perhatian ekstrem dan membuat model lebih stabil.

Penting: Untuk vektor acak dengan variansi satuan, produk titik memiliki variansi d_k. Membagi dengan √d_k membawa variansi kembali ke ~1, terlepas dari ukuran dimensi.

Query (Q)

Matriks W_q memproyeksikan input ke ruang Query, menentukan bagian mana dari input yang akan dicocokkan dengan Kunci.

Key (K)

Matriks W_k memproyeksikan input ke ruang Kunci, menyediakan representasi untuk dicocokkan dengan Query.

Value (V)

Matriks W_v memproyeksikan input ke ruang Nilai, menyediakan informasi aktual yang akan dikombinasikan berdasarkan bobot perhatian.

CLS Token: Representasi Global Gambar

Token CLS (Classification) adalah komponen fondamental yang memungkinkan Vision Transformer melakukan tugas klasifikasi tingkat gambar. Ini adalah token khusus yang ditambahkan ke urutan potongan untuk agregasi informasi global.

Fungsi Agregasi

Token "[class]" adalah token khusus yang digunakan dalam Transformer Visi (ViT) untuk tugas klasifikasi. Anggap itu sebagai "ringkasan" atau "intisari" dari seluruh gambar, mengumpulkan informasi dari semua potongan.

Embedding Akhir

ViT melakukan klasifikasi gambar dengan memperkenalkan token kelas khusus (CLS), yang embedding akhirnya berfungsi sebagai representasi global gambar untuk klasifikasi.

Struktur Urutan Input

[CLS] Token

Token khusus untuk agregasi informasi global

Potongan Gambar

Urutan potongan 16×16 (misalnya 196 potongan)

Embedding Posisi

Informasi posisi untuk mempertahankan struktur spasial

Proses: Token kelas terpelajari, dilambangkan [CLS], ditambahkan ke urutan ini, berfungsi sebagai titik agregasi untuk informasi gambar global yang dapat digunakan untuk klasifikasi.

Arsitektur Transformer: Struktur Enkoder

Enkoder Transformer (Vaswani et al., 2017) terdiri dari lapisan-lapisan bergantian dari perhatian sendiri multi-kepala (MSA, lihat Lampiran A) dan blok MLP (Persamaan 2, 3). Ini menciptakan arsitektur hierarkis yang menangkap informasi pada berbagai skala.

Multi-Headed Attention

Komponen enkoder berisi mekanisme perhatian multi-kepala (MHA) dan MLP 2-lapisan, dengan normalisasi lapisan dan koneksi residu di antaranya. Ini memungkinkan model mempelajari representasi yang berbeda secara paralel.

Blok MLP

Lapisan normalisasi (LN) diterapkan sebelum setiap blok. Arsitektur perhatian sendiri mandiri dalam visi menggunakan kombinasi lapisan perhatian dan MLP untuk menangkap pola kompleks.

Residual Connections dan Normalisasi

Mari jelajahi dua komponen yang hilang: koneksi residu dan normalisasi lapisan. Koneksi Residu membawa kita ke output residu (atau lewat) yang ditambahkan ke input lapisan, mencegah masalah gradien menghilang.

Setiap sub-lapisan dalam lapisan enkoder diikuti oleh langkah normalisasi. Juga, output setiap sub-lapisan ditambahkan ke inputnya (koneksi residu), meningkatkan stabilitas pelatihan dan memungkinkan arsitektur yang lebih dalam.

Optimasi: Kemudian, koneksi residu dan unit normalisasi lapisan ditambahkan ke output sehingga model yang dihasilkan lebih mudah dioptimalkan.

Dimensi per Kepala

Model membagi dimensi sematan total di antara kepala. Untuk ViT-B, d_k = d_v = d_model/h = 768/2 = 384, memungkinkan perhatian paralel yang efisien.

Proses Enkoding

Urutan sematan potongan diterapkan ke enkoder transformer dengan normalisasi, pemrosesan perhatian sendiri, dan MLP. Output MLP head digunakan untuk klasifikasi.

Langkah-langkah Proses

Hitung Q, K, V untuk setiap token. Langkah 1 — Normalisasi Lapisan, Langkah 2 — Buat Q, K, V menggunakan matriks, Langkah 3 — Perhatian multi-kepala.

Kesimpulan: Fondasi Matematis Vision Transformer

Vision Transformer (ViT) merepresentasikan paradigma transformasional dalam pengolahan gambar, mengadaptasi mekanisme perhatian global dari pemrosesan bahasa alami ke domain komputer visi. Formulasi matematis yang mendalam mencakup beberapa komponen inti yang saling terkait.

Inovasi Utama

Pemrosesan gambar sebagai urutan potongan-potongan tetap, mirip dengan token kata dalam NLP
Proyeksi linier untuk menghasilkan sematan potongan berdimensi tetap (biasanya 768)
Mekanisme perhatian global untuk menangkap hubungan jarak jauh antar potongan
Skema enkoding posisi 2D untuk mempertahankan informasi spasial

Kontribusi Matematis

Scaled dot-product attention untuk stabilitas numerik dan konsistensi skor
Koneksi residu dan normalisasi lapisan untuk pelatihan stabil
Token klasifikasi ([CLS]) untuk agregasi informasi global
Arsitektur enkoder berlapis untuk representasi hierarkis

Implikasi Penelitian

Pendekatan matematis Vision Transformer telah membuka jalur penelitian baru dalam komputer visi, termasuk pengembangan skema enkoding posisi yang lebih canggih seperti Weierstrass Positional Encoding dan Rotary Position Embedding, serta arsitektur hybrid yang menggabungkan kekuatan CNN dan Transformer.

Studi lanjutan terus mengeksplorasi optimasi arsitektur, efisiensi komputasi, dan aplikasi domain spesifik, menjadikan ViT sebagai fondasi yang kuat untuk generasi model visi berikutnya.