Inferensi

Bayangkan juru masak di warung padang. Bertahun-tahun ia belajar meracik rendang dan gulai, itu masa training. Sekarang tiap kali pembeli datang dan menunjuk lauk, ia langsung menyiapkan piringnya. Itu inferensi: belajar sekali, melayani ribuan kali.

Bedanya, juru masak makin jago dari hari ke hari karena terus melayani pembeli. Model AI tidak. Glosarium Google menjelaskan, pelatihan adalah proses menentukan bobot model, sedangkan inferensi memakai bobot yang sudah jadi itu untuk menebak. Selama inferensi, isi model tidak berubah.

Saat kamu mengirim prompt teks ke aplikasi Gemini, inferensinya berjalan di pusat data Google. Google menghitung ongkosnya: prompt teks dengan nilai tengah (median) memakai 0,24 watt-jam listrik, menghasilkan 0,03 gram emisi setara CO2, dan memakai 0,26 mililiter air, sekitar lima tetes. Kata Google, energinya setara menonton TV kurang dari 9 detik. Datanya diambil Mei 2025, dan dalam 12 bulan energi per prompt turun 33 kali.

Artinya buat kamu: satu prompt itu kecil. Tapi inferensi terjadi setiap kali AI dipakai siapa pun, jadi totalnya besar. Biaya API yang dihitung per token pada dasarnya adalah harga inferensi.

"Inferensi di AI sama dengan menarik kesimpulan logis." Glosarium Google mendefinisikan inferensi pada model bahasa besar sebagai proses memakai model yang sudah dilatih untuk menghasilkan respons atas prompt. Google juga mencatat, di statistik kata ini artinya agak berbeda.

"Jawaban AI diambil dari gudang jawaban yang sudah jadi." Setiap jawaban dihitung ulang saat itu juga. Karena ada setelan keacakan yang disebut temperature, pertanyaan yang sama bisa mendapat jawaban yang sedikit berbeda.

"Biaya AI cuma mahal di awal, waktu training." Training memang mahal, tapi inferensi dibayar terus selama model dipakai. Itu sebabnya angka energi per prompt seperti milik Google tadi penting untuk dipantau.