Benchmark
disebut juga: tolok ukur AI
Artinya
Benchmark adalah kumpulan soal atau tugas yang sama untuk semua model AI, sehingga kemampuan model bisa diukur dengan angka dan dibandingkan.
Diperbarui · diperiksa Syamil Jihad
Perumpamaannya
Kalau kamu pernah nonton review HP, pasti ketemu skor AnTuTu. Semua HP menjalankan tes yang sama, jadi skornya bisa diadu. Tapi HP dengan skor tertinggi belum tentu paling cocok buatmu, kalau yang kamu cari kamera bagus atau baterai awet.
Benchmark AI bekerja serupa: satu angka untuk satu jenis kemampuan, misalnya matematika, coding, atau pengetahuan umum. Perumpamaannya berhenti di sini: soal benchmark AI berupa teks yang bisa ikut terbaca saat model belajar. Model bisa terlihat pintar karena pernah "melihat" soalnya, bukan karena paham.
Contoh nyata
Indonesia punya benchmark sendiri, namanya IndoMMLU (2023). Isinya 14.981 soal dari ujian sekolah di Indonesia, mulai SD sampai ujian masuk perguruan tinggi, termasuk soal bahasa dan budaya daerah. Benchmark ini kini dipakai pembuat model lokal. GoTo, misalnya, mencantumkan skor IndoMMLU di halaman model GoTo-AI-nya.
Artinya buat kamu: kalau kerjaanmu banyak memakai Bahasa Indonesia, cari skor di benchmark berbahasa Indonesia, jangan cuma melihat skor bahasa Inggris.
Salah kaprah
"Skor tinggi di benchmark Inggris berarti jago di soal Indonesia." Belum tentu. Menurut laporan teknis GPT-4 dari OpenAI, GPT-3.5 mencetak 70,0% di MMLU, ujian 57 mata pelajaran berbahasa Inggris. Tapi di IndoMMLU, menurut makalah penyusunnya, GPT-3.5 cuma lulus level SD, dengan pengetahuan bahasa dan budaya daerah yang terbatas.
"Model nggak mungkin nyontek benchmark." Bisa, walau tidak sengaja. Peneliti Scale AI menyusun GSM1k, soal matematika baru yang dibuat mirip benchmark terkenal GSM8k. Akurasi sebagian model turun sampai 8% di soal baru, tanda mereka sebagian hafal soal lama. Kabar baiknya, model-model terdepan hampir tidak turun.
Istilah terkait
- Model AIModel AI adalah hasil akhir pelatihan AI, berupa berkas berisi banyak sekali angka, yang menerima masukan seperti pertanyaan atau foto lalu menghasilkan keluaran seperti jawaban, tebakan, atau gambar.
- LLMLLM (large language model) adalah program AI yang dilatih dari teks dalam jumlah sangat besar sampai pandai menebak kata berikutnya, sehingga bisa menjawab, merangkum, dan menulis seperti ChatGPT, Gemini, dan Claude.
- DatasetDataset adalah kumpulan data yang dikumpulkan dan dirapikan untuk satu tujuan, misalnya melatih, menguji, atau mengukur kemampuan sebuah program AI.
- Training modelTraining model adalah proses mengajari model AI dengan memperlihatkan banyak sekali contoh berulang-ulang, sambil terus membetulkan angka-angka di dalamnya sampai tebakannya makin tepat.
- Open weightOpen weight adalah model AI yang file hasil latihnya, disebut bobot, boleh diunduh dan dijalankan sendiri, walau data dan kode latihnya tidak dibuka sepenuhnya.
- AGIAGI adalah gagasan tentang AI yang mampu mengerjakan hampir semua jenis tugas berpikir setidaknya sebaik manusia, bukan cuma satu jenis tugas seperti menerjemahkan atau bermain catur.