Model klasifikasi risiko banjir di wilayah perkotaan berbasis XGBoost berdasarkan karakteristik Drainase dan curah hujan Satelit

ABSTRAK

Banjir perkotaan di Kota Malang terjadi akibat interaksi antara intensitas curah hujan dan kapasitas sistem drainase. Penelitian ini mengembangkan model klasifikasi risiko banjir tiga kelas (Rendah, Sedang, Tinggi) menggunakan algoritma XGBoost dengan 53 fitur yang terdiri dari 26 fitur drainase fisik, 19 fitur curah hujan satelit CHIRPS, dan 8 fitur interaksi. Studi ablasi dengan enam skenario (S1–S6) dilakukan untuk mengukur kontribusi seleksi fitur (MI + Pearson + RFE), BorderlineSMOTE, dan optimasi Optuna TPE. Evaluasi utama menggunakan Repeated 5×5 Stratified K-Fold Cross-Validation (5 fold × 5 pengulangan = 25 evaluasi) dengan preprocessing diterapkan di dalam setiap fold pelatihan. Dataset mencakup 3.471 titik drainase dengan distribusi kelas tidak merata: Rendah 65,7%, Sedang 25,7%, dan Tinggi 8,7%. Hasil menunjukkan bahwa model baseline S1 mencapai Accuracy 0,8800 ± 0,0123, F1 Macro 0,8152 ± 0,0215, dan ROC-AUC 0,9689 ± 0,0048. S5 (Optuna) sedikit mengungguli baseline (+0,0019 Accuracy, +0,0041 F1 Macro), dan Wilcoxon signed-rank test mengonfirmasi bahwa peningkatan F1 Macro (p = 0,008) dan ROC-AUC (p = 0,034) signifikan pada α = 0,05, meskipun peningkatan Accuracy tidak signifikan (p = 0,084). Seleksi fitur mereduksi dimensi dari 53 menjadi 19 fitur dan mempertahankan 2 fitur curah hujan CHIRPS (rainy_days dan rainfall_30d_max) beserta 7 fitur interaksi, dengan penurunan F1 Macro CV sebesar 0,0174. BorderlineSMOTE meningkatkan Recall kelas Tinggi dari 0,5833 menjadi 0,8167–0,8833 pada test set, sehingga 49–53 dari 60 titik berisiko tinggi terdeteksi, dengan konsekuensi penurunan Accuracy CV. Optuna TPE memberikan perbaikan yang kecil secara absolut namun signifikan secara statistik pada F1 Macro dan ROC-AUC. Analisis SHAP menunjukkan bahwa fitur curah hujan (rainy_days, SHAP = 0,0615–0,0855) mendominasi lima dari enam skenario, termasuk skenario dengan seleksi fitur, yang membuktikan pentingnya mempertahankan fitur curah hujan dalam model. Fitur kondisi_fisik_encoded muncul sebagai prediktor yang konsisten di skenario S3. Pemilihan konfigurasi optimal bergantung pada prioritas aplikasi: S1 atau S5 untuk performa keseluruhan, atau S4/S6 untuk deteksi titik berisiko tinggi.

ABSTRACT

Urban flooding in Malang City results from the interaction between rainfall intensity and drainage system capacity. This study develops a three-class flood risk classification model (Low, Medium, High) using the XGBoost algorithm with 53 features comprising 26 physical drainage features, 19 CHIRPS satellite rainfall features, and 8 interaction features. An ablation study with six scenarios (S1–S6) was conducted to measure the contribution of feature selection (MI + Pearson + RFE), BorderlineSMOTE, and Optuna TPE hyperparameter optimization. The primary evaluation employed Repeated 5×5 Stratified K-Fold Cross-Validation (5 folds × 5 repeats = 25 evaluations) with preprocessing applied within each training fold. The dataset covers 3,471 drainage points with imbalanced class distribution: Low 65.7%, Medium 25.7%, and High 8.7%. Results show that the baseline model S1 achieved an Accuracy of 0.8800 ± 0.0123, F1 Macro of 0.8152 ± 0.0215, and ROC-AUC of 0.9689 ± 0.0048. S5 (Optuna) slightly outperformed the baseline (+0.0019 Accuracy, +0.0041 F1 Macro), and a Wilcoxon signed-rank test confirmed that the F1 Macro improvement (p = 0.008) and ROC-AUC improvement (p = 0.034) were statistically significant at α = 0.05, although the Accuracy improvement was not significant (p = 0.084). Feature selection reduced dimensionality from 53 to 19 features while retaining 2 CHIRPS rainfall features (rainy_days and rainfall_30d_max) along with 7 interaction features, with a CV F1 Macro decrease of 0.0174. BorderlineSMOTE improved High-class Recall from 0.5833 to 0.8167–0.8833 on the test set, detecting 49–53 out of 60 high-risk points, at the cost of lower CV Accuracy. Optuna TPE provided small absolute improvements that were nonetheless statistically significant for F1 Macro and ROC-AUC. SHAP analysis revealed that the rainfall feature rainy_days (SHAP = 0.0615–0.0855) dominated five out of six scenarios, including those with feature selection, demonstrating the importance of retaining rainfall features in the model. The kondisi_fisik_encoded feature appeared as a consistent predictor in scenario S3. Optimal configuration selection depends on the application priority: S1 or S5 for overall performance, or S4/S6 for maximizing high-risk point detection.
 
الملخص

تحدث الفيضانات الحضرية في مدينة مالانج نتيجة التفاعل بين شدة هطول الأمطار وقدرة نظام الصرف. طورت هذه الدراسة نموذج تصنيف مخاطر الفيضانات بثلاث فئات (منخفض، متوسط، مرتفع) باستخدام خوارزمية XGBoost مع 53 سمة تتكون من 26 سمة للصرف المادي، و19 سمة لهطول الأمطار من الأقمار الصناعية CHIRPS، و8 سمات تفاعلية. أُجريت دراسة استئصالية بستة سيناريوهات (S1–S6) لقياس مساهمة اختيار السمات (MI + Pearson + RFE)، وBorderlineSMOTE، وتحسين المعلمات الفائقة Optuna TPE. استُخدم التحقق المتقاطع الطبقي المتكرر 5×5 (Repeated 5×5 Stratified K-Fold Cross-Validation، أي 5 طيات × 5 تكرارات = 25 تقييمًا) كتقييم رئيسي مع تطبيق المعالجة المسبقة داخل كل طية تدريبية. تغطي مجموعة البيانات 3,471 نقطة صرف بتوزيع فئات غير متوازن: منخفض 65.7%، متوسط 25.7%، ومرتفع 8.7%. أظهرت النتائج أن النموذج الأساسي S1 حقق دقة (Accuracy) قدرها 0.8800 ± 0.0123، وF1 Macro قدره 0.8152 ± 0.0215، وROC-AUC قدره 0.9689 ± 0.0048. تفوق S5 (Optuna) بشكل طفيف على النموذج الأساسي (+0.0019 في الدقة، +0.0041 في F1 Macro)، وأكد اختبار Wilcoxon signed-rank أن تحسن F1 Macro (p = 0.008) وROC-AUC (p = 0.034) كان ذا دلالة إحصائية عند α = 0.05، رغم أن تحسن الدقة لم يكن ذا دلالة (p = 0.084). أدى اختيار السمات إلى تقليص الأبعاد من 53 إلى 19 سمة مع الاحتفاظ بسمتين من سمات هطول الأمطار CHIRPS (rainy_days وrainfall_30d_max) و7 سمات تفاعلية، مع انخفاض F1 Macro CV بمقدار 0.0174. حسّن BorderlineSMOTE استدعاء الفئة المرتفعة (Recall) من 0.5833 إلى 0.8167–0.8833 في مجموعة الاختبار، مما أدى إلى اكتشاف 49–53 من أصل 60 نقطة عالية المخاطر، مقابل انخفاض في دقة CV. قدم Optuna TPE تحسنات صغيرة من حيث القيمة المطلقة لكنها ذات دلالة إحصائية في F1 Macro وROC-AUC. كشف تحليل SHAP أن سمة هطول الأمطار rainy_days (SHAP = 0.0615–0.0855) هيمنت على خمسة من ستة سيناريوهات، بما في ذلك السيناريوهات التي تتضمن اختيار السمات، مما يثبت أهمية الاحتفاظ بسمات هطول الأمطار في النموذج. ظهرت سمة kondisi_fisik_encoded كمؤشر تنبؤي ثابت في السيناريو S3. يعتمد اختيار التكوين الأمثل على أولوية التطبيق: S1 أو S5 للأداء العام، أو S4/S6 لتعظيم اكتشاف النقاط عالية المخاطر