Optimasi regresi logistik menggunakan pendekatan levenberg marquardt dan gauss seidel untuk penyelesaian klasifikasi biner

INDONESIA:
Penelitian ini dilatarbelakangi oleh kelemahan metode optimasi sederhana seperti Gradient Descent (GD) dan Adam, yang umumnya membutuhkan jumlah epoch yang banyak, waktu komputasi yang lama, serta konvergensi yang relatif lambat saat digunakan untuk melatih model regresi logistik. Untuk mengatasi keterbatasan tersebut, penelitian ini membahas optimasi regresi logistik untuk klasifikasi biner menggunakan metode Levenberg–Marquardt (LM) yang dipadukan dengan Gauss–Seidel (GS). Dataset yang digunakan adalah Pima Indians Diabetes. Tahapan penelitian meliputi pra-pemrosesan data, pembentukan matriks Jacobian, penyelesaian sistem linear LM dengan GS, serta evaluasi model menggunakan akurasi, presisi, recall, dan F1-score. Hasil penelitian menunjukkan bahwa LMGS mencapai konvergensi lebih cepat dan akurasi lebih tinggi dibandingkan Gradient Descent dan Adam yaitu 0,784. Selain itu, model mampu mencapai akurasi pelatihan ≥ 75% dengan jumlah epoch dan waktu komputasi yang lebih efisien yaitu memerlukan 10 epoch dan waktu 5,76 ms, sehingga metode ini efektif digunakan dalam optimasi regresi logistik.

ENGLISH:
This study is motivated by the limitations of simple optimization methods such as Gradient Descent (GD) and Adam, which generally require a large number of epochs, long computational time, and exhibit relatively slow convergence when applied to logistic regression models. To address these limitations, this research investigates the optimization of logistic regression for binary classification using the Levenberg–Marquardt (LM) method combined with the Gauss–Seidel (GS) approach. The dataset used in this study is the Pima Indians Diabetes dataset. The research stages include data preprocessing, construction of the Jacobian matrix, solving the LM linear system using the Gauss–Seidel method, and model evaluation based on accuracy, precision, recall, and F1-score. The results demonstrate that the LMGS method achieves faster convergence and higher accuracy compared to Gradient Descent and Adam, with an accuracy of 0,784. Furthermore, the model reaches a training accuracy of at least 75% with fewer epochs and more efficient computational time, requiring only 10 epochs and 5,76 ms. These findings indicate that the LMGS method is effective for optimizing logistic regression models.

ARABIC:
تنطلق هذه الدراسة من أوجه القصور في طرائق التحسين البسيطة مثل الانحدار المتدرّج وطريقة آدم، والتي تتطلب عادةً عددًا كبيرًا من دورات التدريب، ووقتًا حسابيًا طويلًا، إضافةً إلى بطء نسبي في الوصول إلى حالة التقارب عند تدريب نموذج الانحدار اللوجستي. وللتغلب على هذه القيود، هدفت هذه الدراسة إلى تحسين نموذج الانحدار اللوجستي للتصنيف الثنائي باستخدام طريقة ليفنبرغ–ماركوارت المدمجة مع طريقة غاوس–زايدل. تم تطبيق الدراسة على مجموعة بيانات بيما للسكري. تشمل مراحل البحث المعالجة المسبقة للبيانات، وبناء مصفوفة جاكوبيان، وحل النظام الخطي في طريقة ليفنبرغ–ماركوارت باستخدام غاوس–زايدل، بالإضافة إلى تقييم أداء النموذج باستخدام مقاييس الدقة، والدقة الإيجابية، والاستدعاء، ودرجة إف-واحد. ظَهَرَتْ نتائج الدراسة أن الطريقة المقترحة تحقق تقاربًا أسرع ودقة أعلى مقارنةً بطرائق الانحدار المتدرّج وطريقة آدم، حيث بلغت الدقة ٠٫٧٨٤. علاوةً على ذلك، تمكّن النموذج من تحقيق دقة تدريب لا تقل عن ٧٥٪ بعدد أقل من دورات التدريب ووقت حسابي أكثر كفاءة، إذ احتاج إلى ١٠ دورات تدريبية وزمن قدره ٥٫٧٦ ميلي ثانية، مما يدل على فعالية الطريقة المقترحة في تحسين نماذج الانحدار اللوجستي