gradient descent

Deep Learning dan Jaringan Saraf untuk Penelitian AI

kesalahan prediksi. Contoh: jika jaringan salah mengidentifikasi gambar anjing sebagai kucing, sistem akan mengubah bobotnya sedikit demi sedikit (dengan gradient descent) agar kali lain tidak salah lagi. Proses ini membutuhkan ribuan bahkan jutaan contoh, dan waktu komputasi yang lama. Ada banyak ... paling dasar adalah gradient descent, di mana model menyesuaikan bobot secara iteratif buat minimalkan kesalahan (loss function). Tapi vanilla gradient descent punya masalah: lambat dan mudah terjebak di minimum lokal. Makanya muncul variasi cerdas seperti: Stochastic Gradient Descent (SGD): Pakai