Hybrid model transfer Learning ResNet50 dengan Support Vector Machine untuk Deteksi Masker pada Image wajah

ABSTRAK

Virus Covid-19 menyebabkan krisis kesehatan di Indonesia. Virus ini sangat mematikan sehingga banyak menimbulkan korban jiwa yang menyebabkan seluruh dunia termasuk pemerintah setempat menaruh fokus utama terhadap pandemi Covid-19. Pemerintah Indonesia telah mengeluarkan beberapa kebijakan untuk mencegah penyebaran wabah ini, salah satunya memakai masker ditempat umum. Salah satu pendekatan yang banyak digunakan dalam bidang computer vision yaitu Convolutional Neural Network (CNN) transfer learning. Dalam penelitian ini model hybrid ResNet50 dengan SVM dengan preprocessing RGB ke HSV disajikan untuk mendeteksi masker pada image wajah. Model ini terdiri dari tiga komponen proses. Pertama preprocessing image RGB ke HSV, Komponen kedua untuk Ekstrasi Fitur dengan ResNet50 dan ketiga klasifikasi masker pada image wajah dengan Support Vector Machine (SVM). Dari dataset sebanyak 7328 data image dilakukan pelatihan dan pengujian. Model pertama, tidak dilakukan preprocessing terhadap data image dengan ResNet50 menghasilkan akurasi 86.52%. Model kedua, model dengan preprocessing mengubah data image dari RGB ke HSV dengan ResNet50 menghasilkan akurasi 99.18%. Model ketiga, tidak dilakukan preprocessing pada image data dengan ResNet50 dan SVM memiliki akurasi 90.55%. Model keempat, model dengan preprocessing mengubah data image dari RGB ke HSV degan ResNet50 dan SVM memiliki akurasi 98.36%.

ABSTRACT

The Covid-19 virus caused a health crisis in Indonesia. This virus is so deadly that it has caused many fatalities which have caused the whole world including the government to pay major attention to the Covid-19 pandemic. The Indonesian government has issued several policies to prevent the spread of this epidemic, one of which is wearing a mask in public places. One approach that is widely used in the field of computer vision is the Convolutional Neural Network (CNN) transfer learning. In this study, Hybrid Model Transfer Learning ResNet50 and SVM with RGB to HSV preprocessing is presented to detect masks in facial images. This model consists of three process components. The first is preprocessing RGB images to HSV, the second component is for Feature Extraction with ResNet50 and the third is mask classification on face images with Support Vector Machine (SVM). From dataset of 7328 training and testing data were carried out. The first model, without preprocessing the image data with ResNet50, produces an accuracy of 86.52%. The second model, the model with preprocessing converts image data from RGB to HSV with ResNet50 resulting in an accuracy of 99.18%. in the third model, without preprocessing with ResNet50 and SVM which has an accuracy of 90.55%. The fourth model, the model with preprocessing converts image data from RGB to HSV with ResNet50 and SVM resulting in an accuracy of 98.36%.

مستخلص البحث

تسبب فيروس كوفيد-19 في أزمة صحية في إندونيسيا. هذا الفيروس قاتل لدرجة أنه تسبب من الوفيات حول العالم، لذلك ركزت الحكومة على جائحة كوفيد-19. أصدرت الحكومة الإندونيسية عدة سياسات لمنع انتشار هذا الوباء ، من بينها اشتراط ارتداء الكمامة في الأماكن العامة. نهج واحد يستخدم على نطاق واسع في مجال رؤية الكمبيوتر وهو الشبكة العصبية التلافيفية (CNN) نقل التعلم. في هذا البحث، إن نموذج هجين ResNet50 مع SVM مع معالجة مسبقة RGB إلى HSV قدّم إلى اكتشاف الكمامة على صورة الوجه. يتكون هذا النموذج من ثلاثة مكونات عملية. المكون الأول هو المعالجة المسبقة لصورة RGB إلى HSV. المكون الثاني مخصص لاستخراج الميزات باستخدام ResNet50 والثالث هو تصنيف الكمامة على صور الوجه باستخدام آلة المتجهات الداعمة (SVM). من مجموعة بيانات من 7328 بيانات صورة، تم إجراء التدريب والتجريب. النموذج الأول، بدون المعالجة المسبقة لبيانات الصورة باستخدام ResNet50، ينتج دقة تبلغ 86.52٪. النموذج الثاني، النموذج ذو المعالجة المسبقة يحول بيانات الصورة من RGB إلى HSV مع ResNet50 مما ينتج عنه دقة تصل إلى 99.18٪. النموذج الثالث، بلا معالجة مسبقة لبيانات الصورة باستخدام ResNet50 وSVM بدقة 90.55٪. النموذج الرابع، النموذج ذو المعالجة المسبقة يحول بيانات الصورة من RGB إلى HSV مع ResNet50