Transformer

Bayangkan ada pesan di grup WA keluarga: "Iya, nanti dia yang jemput di stasiun." Untuk tahu siapa "dia", kamu melirik pesan-pesan lain: siapa yang tadi bilang bawa mobil, siapa yang datang naik kereta.

Transformer melakukan lirikan itu untuk setiap kata, ke semua kata lain, dalam satu waktu. Mekanismenya disebut attention (perhatian): tiap kata diberi bobot seberapa penting kata lain untuk memahaminya. Karena itu kata "bisa" di "bisa ular" dan "aku bisa datang" dibaca dengan arti berbeda, tergantung kata di sekitarnya.

Perumpamaannya berhenti di sini: kamu kenal keluargamu, transformer tidak. Ia hanya menghitung bobot angka antar-token, tanpa tahu siapa orangnya.

Rancangan ini muncul lewat makalah "Attention Is All You Need" pada Juni 2017. Ujinya waktu itu penerjemahan Inggris–Jerman dan Inggris–Prancis, dan model terbaiknya dilatih 3,5 hari memakai delapan GPU. Google menulis rancangan ini cocok dengan perangkat keras modern dan bisa mempercepat pelatihan sampai sekitar sepuluh kali lipat.

Sekarang rancangan itu dipakai di model yang ramai dibicarakan. Laporan teknis OpenAI menyebut GPT-4 sebagai model berbasis transformer yang dilatih menebak token berikutnya. Laporan teknis Gemma 3 dari Google juga menyebut rancangan transformer. Artinya buat kamu: kata "transformer" di berita AI bukan merek baru, tapi denah dasar yang sudah dipakai sejak 2017.

"Transformer itu nama model AI tertentu." Bukan. Transformer itu rancangan, seperti denah rumah. GPT-4, Gemma, dan banyak model lain dibangun dengan denah itu, tapi data latihnya, ukurannya, dan pembuatnya berbeda-beda.

"Transformer cuma untuk teks." Awalnya memang diuji untuk terjemahan. Tapi makalah Vision Transformer (2020) menunjukkan transformer murni bisa mengenali gambar dengan baik, caranya memotong gambar jadi kotak-kotak kecil lalu memperlakukannya seperti deretan kata.

"Ada hubungannya dengan robot di film Transformers." Cuma kebetulan nama. Makalah aslinya membahas penerjemahan bahasa, bukan robot.