Pengaruh Parameter Learning Rate terhadap Konvergensi Model Neural Network dalam Proses Pelatihan

Abstract

Dalam pengembangan model neural network, proses pelatihan memegang peranan kunci dalam menentukan kualitas generalisasi dan performa akhir model. Salah satu parameter paling krusial dalam proses pelatihan adalah learning rate, yang mengatur seberapa besar langkah pembaruan bobot dilakukan terhadap gradien fungsi kerugian. Penentuan nilai learning rate yang tepat sangat mempengaruhi kecepatan konvergensi serta stabilitas pembelajaran. Penelitian ini bertujuan untuk menganalisis secara teoritis dan eksperimental pengaruh variasi parameter learning rate terhadap konvergensi model neural network. Studi dilakukan dengan menggunakan dataset standar MNIST dan CIFAR-10 pada model multilayer perceptron (MLP) dan convolutional neural network (CNN). Parameter learning rate divariasikan dalam beberapa skenario, mulai dari sangat kecil (1e-5) hingga besar (1e-1), dan dievaluasi berdasarkan laju konvergensi, kestabilan loss, serta akurasi validasi. Hasil penelitian menunjukkan bahwa learning rate yang terlalu kecil menyebabkan proses pelatihan lambat dan berisiko terjebak dalam local minima, sementara learning rate yang terlalu besar menyebabkan fluktuasi signifikan bahkan divergensi. Ditemukan bahwa terdapat kisaran nilai learning rate optimal yang bersifat kontekstual terhadap arsitektur model dan karakteristik data. Selain itu, implementasi teknik penyesuaian dinamis seperti learning rate decay atau adaptive learning rate methods (misalnya Adam, RMSprop) secara signifikan membantu mempercepat konvergensi dan meningkatkan kestabilan pelatihan. Temuan ini menegaskan pentingnya pemilihan dan penyetelan learning rate yang tepat untuk menghindari permasalahan underfitting maupun overfitting, sekaligus memaksimalkan efisiensi pelatihan model neural network secara keseluruhan.