Embedding
disebut juga: vector embedding
Artinya
Embedding adalah cara mengubah kata, kalimat, atau gambar menjadi deretan angka, sehingga komputer bisa mengukur seberapa mirip artinya dengan teks atau gambar lain.
Diperbarui · diperiksa Syamil Jihad
Perumpamaannya
Bayangkan setiap kata punya titik di Google Maps. "Bakso" dan "mie ayam" berdekatan, satu gang dengan "warung makan". "Laptop" ada di kecamatan lain. Jarak di peta itu menunjukkan kedekatan arti.
Embedding memberi setiap teks koordinat seperti itu. Sebagai contoh, kalimat "cara izin cuti" dan "prosedur pengajuan libur" bisa jatuh berdekatan walau kata-katanya beda. OpenAI menulis, jarak antara dua deret angka itu mengukur seberapa berkaitan isinya.
Bedanya, peta cuma punya dua arah: utara-selatan dan barat-timur. Embedding punya ratusan sampai ribuan arah. Letak titiknya juga tidak diukur juru peta, tapi dipelajari model dari data.
Contoh nyata
Di Gemini API, satu teks secara bawaan diubah jadi 3.072 angka. Model OpenAI text-embedding-3-small memakai 1.536 angka. Google menulis model gemini-embedding-2 bisa dipakai untuk pencarian, pengelompokan, dan klasifikasi di lebih dari 100 bahasa, termasuk mencocokkan teks dengan gambar.
Salah satu pemakaian yang umum: chatbot yang menjawab dari dokumen kantor. Semua dokumen diubah jadi embedding dulu. Saat kamu bertanya, pertanyaanmu juga diubah jadi angka, lalu sistem mengambil paragraf yang titiknya paling dekat untuk dibaca AI. Cara ini disebut RAG. Artinya buat kamu: chatbot seperti itu bisa menemukan jawaban walau kata yang kamu ketik tidak persis sama dengan isi dokumennya.
Salah kaprah
"Embedding sama dengan token." Beda tahap. Token adalah potongan teks. Embedding adalah deretan angka yang mewakili arti potongan itu, atau arti seluruh kalimat.
"Cuma angka, jadi aman kalau bocor." Tidak sepenuhnya. Makalah Morris dkk. (2023) menunjukkan teks asli bisa disusun ulang dari embedding-nya: 92% teks pendek sepanjang 32 token kembali persis, termasuk nama lengkap dari catatan klinis. Jaga embedding dokumen rahasia seketat dokumennya.
"Embedding sama dengan embed video YouTube." Cuma mirip kata. Embed video berarti menempelkan pemutar video di halaman web. Embedding di AI berarti mengubah arti jadi angka.
Istilah terkait
- TokenToken adalah potongan kecil teks, bisa satu kata utuh, sepotong kata, atau tanda baca, yang dibaca dan ditulis AI seperti ChatGPT, Gemini, dan Claude.
- RAGRAG (retrieval-augmented generation) adalah cara membuat AI menjawab dari dokumen yang dicarikan untuknya saat itu juga, bukan cuma dari ingatan hasil latihannya.
- LLMLLM (large language model) adalah program AI yang dilatih dari teks dalam jumlah sangat besar sampai pandai menebak kata berikutnya, sehingga bisa menjawab, merangkum, dan menulis seperti ChatGPT, Gemini, dan Claude.
- TransformerTransformer adalah rancangan dasar otak AI, diperkenalkan peneliti Google pada 2017, yang membuat AI membaca semua kata dalam kalimat sekaligus lalu menimbang kata mana yang paling berkaitan.
- Neural networkNeural network adalah susunan banyak simpul hitung kecil yang saling terhubung secara berlapis, terinspirasi dari sel saraf otak, dan dipakai komputer untuk belajar mengenali pola.
- MultimodalMultimodal adalah kemampuan AI untuk menerima atau menghasilkan lebih dari satu jenis data, misalnya teks, gambar, suara, dan video, dalam satu percakapan.
- NLPNLP (natural language processing) adalah bidang ilmu komputer yang membuat mesin bisa membaca, memahami, dan menghasilkan bahasa manusia, baik tulisan maupun ucapan.