Optimasi egresi Logistik menggunakan Gauss-Newton dan Dekomposisi QR untuk penyelesaian klasifikasi Biner

INDONESIA:
Penelitian ini bertujuan untuk mengoptimalkan regresi logistik pada masalah klasifikasibiner dengan menerapkan metode Gauss-Newton yang dipadukan dengan DekomposisiQR sebagai teknik penyelesaian sistem persamaan linear dalam proses pembaruanparameter. Optimasi ini dilakukan untuk meningkatkan stabilitas numerik sertamempercepat konvergensi dalam estimasi parameter regresi logistik. Analisis dilakukanmelalui beberapa tahap, yaitu pra-pemrosesan Titanic Dataset, pembentukan model regresilogistik, perhitungan residual dan matriks Jacobian, penerapan metode Gauss-Newtondengan penyelesaian langkah pembaruan menggunakan Dekomposisi QR, serta evaluasiperforma model. Hasil penelitian menunjukkan bahwa kombinasi Gauss-Newton danDekomposisi QR menghasilkan model dengan performa yang lebih baik dibandingkanmetode berbasis gradien seperti SGD dan Adam. Pada data uji, model mencapai akurasisebesar 83%, presisi 84%, recall 69%, dan F1-score 76%. Selain itu, metode ini jauh lebihefisien secara komputasi, ditunjukkan dengan konvergensi yang dicapai hanya dalam satuepoch dengan waktu pelatihan sekitar 0,02 detik, sementara Adam dan SGD membutuhkanpuluhan hingga hampir seratus epoch. Temuan ini menunjukkan bahwa metode GaussNewton dengan Dekomposisi QR mampu meningkatkan akurasi sekaligus memberikanefisiensi komputasi yang signifikan dalam optimasi regresi logistik untuk klasifikasikeselamatan penumpang Titanic.

INGGRIS:
This study aims to optimize logistic regression on binary classification problems by applying the Gauss-Newton method combined with QR Decomposition as a technique for solving linear equation systems in the parameter update process. This optimization is carried out to improve numerical stability and accelerate convergence in the estimation of logistics regression parameters. The analysis was carried out through several stages, namely pre-processing of the Titanic Dataset, the formation of a logistic regression model, residual calculations and Jacobian matrices, the application of the Gauss-Newton method by completing the update step using QR Decomposition, and evaluation of model performance. The results showed that the combination of Gauss-Newton and QR Decomposition resulted in a model with better performance than gradient-based methods such as SGD and Adam. In the test data, the model achieved an accuracy of 83%, precision of 84%, recall of 69%, and an F1-score of 76%. In addition, this method is much more computationally efficient, demonstrated by the convergence achieved in just one epoch with a training time of about 0.02 seconds, while Adam and SGD require tens to almost a hundred epochs. These findings show that the Gauss–Newton method with QR Decomposition is able to improve accuracy while providing significant computational efficiency in the optimization of logistic regression for the classification of Titanic passenger safety.

ARABIC:
هدفت هذه الدراسة إلى تحسين الانحدار اللوجستي في مسائل التصنيف الثنائي من خلال تطبيق طريقة غاوس-نيوتن مع تحليل QR كتقنية لحل أنظمة المعادلات الخطية في عملية تحديث المعلمات. تنفيذ هذا التحسين لتحسين الاستقرار العددي وتسريع التقارب في تقدير معايير الانحدار اللوجستي. تم إجراء التحليل عبر عدة مراحل، وهي المعالجة المسبقة لمجموعة بيانات تايتانيك، وتشكيل نموذج الانحدار اللوجستي، والحسابات المتبقية ومصفوفات جاكوبيان، وتطبيق طريقة غاوس-نيوتن من خلال إكمال خطوة التحديث باستخدام تفكيك QR، وتقييم أداء النموذج. أظهرت النتائج أن الجمع بين غاوس-نيوتن وتحليل QR أدى إلى نموذج بأداء أفضل من الطرق القائمة على التدرج مثل SGD وAdam. في بيانات الاختبار، حقق النموذج دقة ،83%ودقة ،84%واستدعاء ،69%ودرجة F1 بلغت ،76%بالإضافة إلى ذلك، هذه الطريقة أكثر كفاءة حسابية، كما يتضح من التقارب الذي تحقق في عصر واحد فقط بزمن تدريب حوالي 0.02 ثانية، بينما يتطلب آدم وSGD عشرات إلى ما يقرب من مئة عصر. تظهر هذه النتائج أن طريقة غاوس-نيوتن مع تحليل QR قادرة على تحسين الدقة مع توفير كفاءة حسابية كبيرة في تحسين الانحدار اللوجستي لتصنيف سلامة ركاب التيتانيك.