Klasifikasi ekspresi wajah menggunakan Convolutional Neural Network (CNN) EffectientNetB0

INDONESIA :

Perkembangan teknologi kecerdasan buatan, khususnya di bidang computer vision, memungkinkan pengolahan dan analisis citra wajah secara otomatis untuk mengenali ekspresi emosi manusia. Klasifikasi ekspresi wajah memiliki peranan penting dalam berbagai aplikasi, seperti human–computer interaction, sistem pemantauan emosi, dan analisis perilaku. Penelitian ini bertujuan untuk melakukan klasifikasi ekspresi wajah menggunakan Convolutional Neural Network (CNN) dengan arsitektur EfficientNetB0 pada dataset FER-13 yang terdiri dari tujuh kelas emosi, yaitu angry, disgust, fear, happy, neutral, sad, dan surprise. Penelitian ini menerapkan empat skenario pelatihan yang berbeda untuk menganalisis pengaruh teknik augmentasi data, MixUp, dan label smoothing terhadap performa model. Seluruh citra diproses dengan ukuran masukan 96×96 piksel dan dilatih menggunakan optimizer Adam dengan batch size 10. Augmentasi citra konvensional diterapkan secara on-the-fly, sementara MixUp digunakan sebagai teknik regularisasi berbasis interpolasi linear antar sampel. Evaluasi performa model dilakukan menggunakan metrik accuracy, precision, recall, dan F1-score. Hasil pengujian menunjukkan bahwa penggunaan strategi pelatihan yang tepat berpengaruh signifikan terhadap kinerja model. Skenario terbaik diperoleh pada kombinasi augmentasi MixUp dan label smoothing, dengan nilai akurasi sebesar 79% dan F1-score sebesar 0.78. Model menunjukkan performa yang baik pada ekspresi dengan ciri visual yang kuat seperti happy dan surprise, namun masih menghadapi tantangan pada ekspresi yang memiliki kemiripan fitur visual seperti fear, sad, dan neutral. Berdasarkan hasil penelitian ini, dapat disimpulkan bahwa EfficientNetB0 efektif digunakan untuk klasifikasi ekspresi wajah, terutama ketika dikombinasikan dengan teknik augmentasi dan regularisasi yang sesuai. Penelitian ini diharapkan dapat menjadi dasar untuk pengembangan lebih lanjut, seperti penggunaan dataset yang lebih besar atau penerapan arsitektur CNN yang lebih kompleks.

ENGLISH :

The rapid development of artificial intelligence, particularly in the field of computer vision, has enabled automatic processing and analysis of facial images for recognizing human emotional expressions. Facial expression classification plays an important role in various applications, such as human–computer interaction, emotion monitoring systems, and behavioral analysis. This study aims to classify facial expressions using a Convolutional Neural Network (CNN) with the EfficientNetB0 architecture on the FER-13 dataset, which consists of seven emotion classes, namely angry, disgust, fear, happy, neutral, sad, and surprise. This research applies four different training scenarios to analyze the effects of data augmentation techniques, MixUp, and label smoothing on model performance. All images are processed with an input size of 96×96 pixels and trained using the Adam optimizer with a batch size of 10. Conventional image augmentation is applied on-the-fly, while MixUp is employed as a regularization technique based on linear interpolation between samples. Model performance is evaluated using accuracy, precision, recall, and F1-score metrics. The experimental results indicate that appropriate training strategies significantly affect the model’s performance. The best performance is achieved by combining MixUp augmentation and label smoothing, resulting in an accuracy of 79% and an F1-score of 0.78. The model performs well on expressions with strong visual characteristics, such as happy and surprise, but still faces challenges in distinguishing expressions with similar visual features, such as fear, sad, and neutral. Based on these results, it can be concluded that EfficientNetB0 is effective for facial expression classification, particularly when combined with suitable augmentation and regularization techniques. This study is expected to serve as a foundation for further research, such as utilizing larger datasets or exploring more complex CNN architectures.

ARABIC :

أتاح التطور السريع للذكاء الاصطناعي، ولا سيما في مجال رؤية الحاسوب، المعالجة والتحليل الآليين لصور الوجه بهدف التعرف على تعابير الوجه العاطفية. ويلعب تصنيف تعابير الوجه دورًا هامًا في تطبيقات متنوعة، مثل التفاعل بين الإنسان والحاسوب، وأنظمة مراقبة المشاعر، وتحليل السلوك. تهدف هذه الدراسة إلى تصنيف تعابير الوجه باستخدام شبكة عصبية التفافية (CNN) ذات بنية EfficientNetB0 على مجموعة بيانات FER-13، التي تتكون من سبع فئات عاطفية، وهي: الغضب، والاشمئزاز، والخوف، والسعادة، والحياد، والحزن، والمفاجأة. يطبق هذا البحث أربعة سيناريوهات تدريب مختلفة لتحليل تأثير تقنيات زيادة البيانات، MixUp، وتنعيم التصنيفات على أداء النموذج. تتم معالجة جميع الصور بحجم إدخال 96×96 بكسل، ويتم تدريبها باستخدام مُحسِّن Adam بحجم دفعة 32. يتم تطبيق زيادة الصور التقليدية بشكل فوري، بينما يُستخدم MixUp كتقنية تنظيم تعتمد على الاستيفاء الخطي بين العينات. يُقيّم أداء النموذج باستخدام مقاييس الدقة، والضبط، والاستدعاء، ومقياس F1. تشير النتائج التجريبية إلى أن استراتيجيات التدريب المناسبة تؤثر بشكل كبير على أداء النموذج. وقد تحقق أفضل أداء من خلال الجمع بين تقنية MixUp لزيادة البيانات وتنعيم التصنيفات، مما أدى إلى دقة بلغت 79% ومقياس F1 قدره 0.78. يُظهر النموذج أداءً جيدًا على التعبيرات ذات الخصائص البصرية القوية، مثل السعادة والمفاجأة، ولكنه لا يزال يواجه تحديات في تمييز التعبيرات ذات السمات البصرية المتشابهة، مثل الخوف والحزن والحياد. بناءً على هذه النتائج، يمكن الاستنتاج أن EfficientNetB0 فعال في تصنيف تعابير الوجه، خاصةً عند دمجه مع تقنيات زيادة البيانات والتنظيم المناسبة. من المتوقع أن تُشكل هذه الدراسة أساسًا لمزيد من الأبحاث، مثل استخدام مجموعات بيانات أكبر أو استكشاف بنى شبكات عصبية تلافيفية أكثر تعقيدًا..