Implementasi Extreme Gradient Boosting (XGBoost) dengan Recursive Feature Elimination (RFE) untuk Klasifikasi Penyakit Serangan Jantung

INDONESIA :

Pemilihan topik skripsi ini dilatarbelakangi oleh tingginya angka kematian global akibat penyakit kardiovaskular, khususnya serangan jantung, sehingga sistem deteksi dini yang akurat sangat dibutuhkan. Namun, pengembangan model klasifikasi sering kali terkendala oleh masalah data yang tidak seimbang (imbalanced data) dan karakteristik klinis pasien yang saling tumpang tindih (overlapping features). Oleh karena itu, penelitian ini bertujuan untuk mengoptimalkan performa algoritma Extreme Gradient Boosting (XGBoost) dalam memprediksi risiko penyakit jantung. Penelitian ini menggunakan dataset medis dari Kaggle yang terdiri atas 4.238 data pengamatan dengan 15 variabel input. Pengujian dilakukan secara komprehensif melalui sembilan skenario eksperimen utama, yang mencakup dua belas kombinasi pengujian dengan mengombinasikan metode penyeimbangan data (Random Undersampling dan SMOTE) serta teknik seleksi fitur (Recursive Feature Elimination dan Thresholding). Hasil penelitian menunjukkan bahwa penerapan Random Undersampling mampu meningkatkan sensitivitas model secara signifikan jika dibandingkan dengan metode dasarnya (baseline). Pada skenario dasar (Pure+Full), model memang menghasilkan akurasi sebesar 83,88%, tetapi nilai recall-nya sangat rendah, yakni hanya 14,29%, yang membuktikan bahwa model masih sangat bias terhadap kelas mayoritas. Sebaliknya, skenario RUS+Threshold (0,07) berhasil memperbaiki kelemahan tersebut dengan mencapai nilai recalltertinggi sebesar 75,00% serta skor ROC-AUC sebesar 71,58%. Selain itu, berdasarkan analisis feature importance, fitur jenis kelamin, usia, dan kadar glukosa teridentifikasi sebagai indikator klinis yang paling menonjol. Secara keseluruhan, temuan ini membuktikan bahwa strategi undersampling sangat efektif untuk meningkatkan objektivitas model dalam mendeteksi risiko penyakit jantung secara dini, meskipun adanya karakteristik data yang tumpang tindih cukup membatasi capaian maksimal dari nilai F1-Score.

ENGLISH :

This research is motivated by the high global mortality rate caused by cardiovascular diseases, particularly heart attacks, which underscores the urgent need for an accurate early detection system. However, the development of classification models is frequently hampered by imbalanced data and overlapping clinical features among patients. Therefore, this study aims to optimize the performance of the Extreme Gradient Boosting (XGBoost) algorithm in predicting heart disease risk. The study utilizes a medical dataset from Kaggle, comprising 4,238 observations with 15 input variables. Comprehensive testing was conducted through nine main experimental scenarios, encompassing twelve test combinations by integrating data balancing methods (Random Undersampling and SMOTE) and feature selection techniques (Recursive Feature Elimination and Thresholding). The results indicated that the implementation of Random Undersampling significantly increased the model's sensitivity compared to the baseline method. In the baseline scenario (Pure+Full), the model achieved an accuracy of 83.88%, but its recall was considerably low at only 14.29%, proving that the model remained highly biased toward the majority class. In contrast, the RUS+Threshold (0.07) scenario successfully addressed this limitation by achieving the highest recall of 75.00% and an ROC-AUC score of 71.58%. Furthermore, based on the feature importance analysis, gender, age, and glucose levels were identified as the most prominent clinical indicators. Overall, these findings demonstrate that the undersampling strategy is highly effective in enhancing the model's objectivity for the early detection of heart disease risk, although overlapping data characteristics still limit the maximum achievable F1-Score.

ARABIC :

ينبع اختيار موضوع هذه الأطروحة من الارتفاع الكبير في معدلات الوفيات العالمية الناجمة عن أمراض القلب والأوعية الدموية، ولا سيما النوبات القلبية، مما يبرز الحاجة الماسة إلى نظام دقيق للكشف المبكر. ومع ذلك، غالباً ما يعوق تطوير نماذج التصنيف تحديات تتمثل في عدم توازن البيانات وتداخل الخصائص السريرية للمرضى. بناءً على ذلك، تهدف هذه الدراسة إلى تحسين أداء خوارزمية التعزيز المتدرج الفائق (XGBoost) في التنبؤ بمخاطر الإصابة بأمراض القلب. وتعتمد الدراسة على مجموعة بيانات طبية من منصة Kaggle، تضم 4238 حالة مراقبة بـ 15 متغيراً مدخلاً. أُجريت التقييمات بشكل شامل عبر تسعة سيناريوهات تجريبية رئيسية، تضمنت اثنتي عشرة تركيبة اختبار تدمج بين طرق موازنة البيانات (مثل أخذ العينات العشوائية الناقصة وتقنية SMOTE) وتقنيات اختيار الميزات (مثل الحذف المتكرر للميزات وتطبيق العتبة). وأظهرت النتائج أن تطبيق أخذ العينات العشوائية الناقصة ساهم في تعزيز حساسية النموذج بشكل ملحوظ مقارنة بالنهج الأساسي. ففي السيناريو الأساسي (Pure+Full)، حقق النموذج دقة بلغت 83.88%، غير أن قيمة الاستدعاء كانت متدنية للغاية عند 14.29% فقط، مما يؤكد الانحياز الشديد للنموذج نحو الفئة الأغلبية. وعلى النقيض من ذلك، نجح سيناريو RUS+Threshold بنسبة 0.07 في تدارك هذا القصور، محققاً أعلى قيمة استدعاء بنسبة 75.00% ودرجة ROC-AUC بلغت 71.58%. علاوة على ذلك، واستناداً إلى تحليل أهمية الميزات، تبين أن الجنس والعمر ومستويات الجلوكوز هي المؤشرات السريرية الأكثر تأثيراً. وفي المجمل، تبرهن هذه النتائج على الفعالية العالية لاستراتيجية أخذ العينات الناقصة في إضفاء المزيد من الموضوعية على النموذج عند الكشف المبكر عن مخاطر أمراض القلب، رغم أن تداخل البيانات لا يزال يشكل قيداً يحد من بلوغ الحد الأقصى لقيمة F1-Score.