Segmentasi citra bangunan untuk mengukur kerusakan pasca bencana alam menggunakan Dual-Encoder U-Net With Resnet-50 Backbone And Attention Mechanism

INDONESIA:

Penilaian tingkat kerusakan bangunan pasca bencana alam merupakan langkah krusial untuk respons darurat dan perencanaan rekonstruksi. Metode manual yang ada saat ini seringkali lambat, subjektif, dan memakan sumber daya besar. Penelitian ini bertujuan untuk mengembangkan dan mengevaluasi model deep learning berbasis U-Net untuk segmentasi kerusakan bangunan secara otomatis dan akurat menggunakan citra satelit. Model yang diajukan mengintegrasikan arsitektur U-Net dengan backbone ResNet50 pretrained, pendekatan dual encoder dengan input ganda (citra pra dan pasca bencana), serta mekanisme atensi Convolutional Block Attention Module (CBAM) pada jalur decoder. Kinerja model usulan ini dibandingkan secara komprehensif dengan model pembanding (U-Net ResNet50 tanpa CBAM) melalui serangkaian skenario pengujian yang melibatkan variasi loss function (Crossentropy, Dual Focal) dan optimizer (Adam, RMSprop) pada dataset Xview2. Hasil penelitian menunjukkan bahwa model usulan dengan konfigurasi terbaik (Dual Focal Loss + RMSprop) mencapai kinerja superior dengan nilai Overall Accuracy (OA) 0.6009, mean F1-Score (mF1) 0.5145, dan mean Intersection over Union (mIoU) 0.3939. Angka ini menunjukkan peningkatan mIoU sebesar 8.24% dibandingkan model pembanding terbaik. Analisis membuktikan bahwa penambahan CBAM secara signifikan meningkatkan kemampuan model dalam menghasilkan batas segmentasi yang lebih jelas dan akurasi klasifikasi tingkat kerusakan yang lebih baik, meskipun identifikasi 'Minor Damage' tetap menjadi tantangan. Penelitian ini menyimpulkan bahwa model U-Net yang dimodifikasi dengan ResNet50, dual input, dan CBAM merupakan pendekatan yang efektif dan menjanjikan untuk otomatisasi penilaian kerusakan bangunan pasca bencana.

ENGLISH:

Post-disaster building damage assessment is a crucial step for emergency response and reconstruction planning. Current manual methods are often slow, subjective, and resource-intensive. This research aims to develop and evaluate a U-Net based deep learning model for automatic and accurate building damage segmentation using satellite imagery. The proposed model integrates the U-Net architecture with a pretrained ResNet50 backbone, a dual encoder approach with dual inputs (pre- and post-disaster images), and the Convolutional Block Attention Module (CBAM) attention mechanism in its decoder path. The performance of the proposed model was comprehensively compared against a baseline model (U-Net ResNet50 without CBAM) through a series of test scenarios involving variations of loss functions (Crossentropy, Dual Focal) and optimizers (Adam, RMSprop) on the Xview2 dataset. The results indicate that the proposed model with its best configuration (Dual Focal Loss + RMSprop) achieved superior performance, reaching an Overall Accuracy (OA) of 0.6009, a mean F1-Score (mF1) of 0.5145, and a mean Intersection over Union (mIoU) of 0.3939. This represents an 8.24% increase in mIoU compared to the best baseline model. Analyses from result confirm that the addition of CBAM significantly enhances the model's ability to produce clearer segmentation boundaries and improve damage level classification accuracy, although identifying 'Minor Damage' remains a challenge. This study concludes that the modified U-Net model utilizing ResNet50, dual input, and CBAM is an effective and promising approach for automating post-disaster building damage assessment.

ARABIC:

يعد تقييم مدى الأضرار الناجمة عن المباني بعد وقوع كارثة طبيعية خطوة حاسمة للاستجابة للطوارئ والتخطيط لإعادة الإعمار. غالبا ما تكون الأساليب اليدوية الموجودة اليوم بطيئة وذاتية وتستهلك موارد كبيرة. تهدف هذه الدراسة إلى تطوير وتقييم نموذج التعلم العميق القائم على U-Net للتجزئة التلقائية والدقيقة لأضرار المباني باستخدام صور الأقمار الصناعية. يدمج النموذج المقترح بنية U-Net مع العمود الفقري ResNet50 المدرب مسبقا ، ونهج التشفير المزدوج مع المدخلات المزدوجة (صور ما قبل الكارثة وبعدها) ، وآلية توهين وحدة انتباه الكتلة التلافيفية (CBAM) على مسار وحدة فك التشفير. تمت مقارنة أداء هذا النموذج المقترح بشكل شامل مع النموذج المقارن (U-Net ResNet50 بدون CBAM) من خلال سلسلة من سيناريوهات الاختبار التي تتضمن اختلافات في وظيفة الخسارة (Crossentropy ، Dual Focal) والمحسن (Adam ، RMSprop) على مجموعة بيانات Xview2. أظهرت النتائج أن النموذج المقترح بأفضل تكوين (الخسارة البؤرية المزدوجة + RMSprop) حقق أداء متفوقا بقيمة الدقة الكلية (OA) 0.6009 ، ومتوسط F1-Score (mF1) 0.5145 ، ومتوسط تقاطع على الاتحاد (mIoU) 0.3939. يظهر هذا الرقم زيادة في mIoU بنسبة 8.24٪ مقارنة بأفضل نموذج مقارنة. يثبت التحليل أن إضافة CBAM يحسن بشكل كبير من قدرة النموذج على إنتاج حدود تجزئة أكثر وضوحا ودقة تصنيف أفضل لمستوى الضرر ، على الرغم من أن تحديد "الضرر الطفيف" لا يزال يمثل تحديا. وخلصت الدراسة إلى أن نموذج U-Net المعدل باستخدام ResNet50 والمدخلات المزدوجة و CBAM هو نهج فعال وواعد لأتمتة تقييم أضرار المباني بعد الكارثة.