Klasifikasi emosi dari teks menggunakan Neural Network

ABSTRAK:

Penelitian ini bertujuan untuk mengevaluasi kinerja model klasifikasi emosi berbasis teks dengan Neural Network pada dataset yang memiliki distribusi kelas tidak seimbang. Data yang digunakan merupakan dataset emosi teks yang terdiri dari enam kategori emosi. Model yang diterapkan adalah Neural Network dengan ekstraksi fitur Word2Vec, sementara SMOTE digunakan untuk mengatasi ketidakseimbangan kelas dan feature selection diterapkan untuk mengurangi fitur yang kurang relevan serta meningkatkan efisiensi pembelajaran model. Proses pengujian dilakukan menggunakan pembagian data latih dan uji sebesar 80%:20% serta evaluasi K-fold cross validation. Penerapan SMOTE menghasilkan peningkatan kinerja dibandingkan model baseline, dengan kenaikan akurasi sebesar 5,8% dan F1-score sebesar 11%. Hasil terbaik diperoleh pada skenario Neural Network dengan kombinasi SMOTE dan feature selection, yang menghasilkan nilai akurasi sebesar 88,2%, presisi 89%, recall 89%, dan F1-score 89%.

ABSTRACT:
This study aims to evaluate the performance of a neural network–based text emotion classification model on a dataset with imbalanced class distribution. The dataset consists of six emotion categories and is represented using Word2Vec feature extraction. To address class imbalance and reduce irrelevant features, the Synthetic Minority Over-sampling Technique (SMOTE) and feature selection are applied to improve the learning process and model efficiency. The experimental setup employs an 80%:20% train–test split and K-fold cross validation for performance evaluation. The application of SMOTE improves the baseline model performance, resulting in an accuracy increase of 5.8% and an F1-score improvement of 11%. The best performance is achieved by the neural network model combining SMOTE and feature selection, yielding an accuracy of 88.2%, precision of 89%, recall of 89%, and an F1-score of 89%.

مستخلص البحث:

ﺗﮭﺪفھﺬهاﻟﺪراﺳﺔإﻟﻰﺗﻘﯿﯿﻢأداءﻧﻤﻮذجﺗﺼﻨﯿﻒاﻟﻤﺸﺎﻋﺮاﻟﻨﺼﯿﺔاﻟﻘﺎﺋﻢﻋﻠﻰاﻟﺸﺒﻜﺎتاﻟﻌﺼﺒﯿﺔﺑﺎﺳﺘﺨﺪام ﻣﺠﻤﻮﻋﺔﺑﯿﺎﻧﺎتﺗﻌﺎﻧﻲﻣﻦﻋﺪمﺗﻮازنﻓﻲﺗﻮزﯾﻊاﻟﻔﺌﺎت.ﺗﺘﻜﻮنﻣﺠﻤﻮﻋﺔاﻟﺒﯿﺎﻧﺎتﻣﻦﺳﺖﻓﺌﺎتﻟﻠﻤﺸﺎﻋﺮ،وﺗﻢ ﺗﻤﺜﯿﻞاﻟﺒﯿﺎﻧﺎتاﻟﻨﺼﯿﺔﺑﺎﺳﺘﺨﺪامﺗﻘﻨﯿﺔاﺳﺘﺨﺮاجاﻟﺴﻤﺎت Word2Vec. وﻟﻤﻌﺎﻟﺠﺔﻣﺸﻜﻠﺔﻋﺪمﺗﻮازناﻟﻔﺌﺎت وﺗﺤﺴﯿﻦﻛﻔﺎءةاﻟﺘﻌﻠﻢ،ﺗﻢﺗﻄﺒﯿﻖﺗﻘﻨﯿﺔزﯾﺎدةاﻟﻌﯿﻨﺎتﻟﻠﻔﺌﺎتاﻷﻗﻞﺗﻤﺜﯿًﻼ (SMOTE) ﺑﺎﻹﺿﺎﻓﺔإﻟﻰأﺳﻠﻮب اﺧﺘﯿﺎراﻟﺴﻤﺎت (Feature Selection) ﺑﮭﺪفﺗﻘﻠﯿﻞاﻟﺴﻤﺎتﻏﯿﺮذاتاﻟﺼﻠﺔوﺗﻌﺰﯾﺰﻗﺪرةاﻟﻨﻤﻮذجﻋﻠﻰ اﻟﺘﻌﻤﯿﻢ . ﺗﻢإﺟﺮاءاﻟﺘﺠﺎربﺑﺎﺳﺘﺨﺪامﺗﻘﺴﯿﻢاﻟﺒﯿﺎﻧﺎتﺑﻨﺴﺒﺔ80%ﻟﻠﺘﺪرﯾﺐو20%ﻟﻼﺧﺘﺒﺎر،ﻣﻊاﻋﺘﻤﺎدأﺳﻠﻮباﻟﺘﺤﻘﻖ اﻟﻤﺘﻘﺎطﻊ K-fold cross validation ﻟﺘﻘﯿﯿﻢأداءاﻟﻨﻤﻮذج.أظﮭﺮتﻧﺘﺎﺋﺞاﻟﺘﺠﺎربأنﺗﻄﺒﯿﻖﺗﻘﻨﯿﺔ SMOTE أدىإﻟﻰﺗﺤﺴﯿﻦأداءاﻟﻨﻤﻮذجاﻷﺳﺎﺳﻲ،ﺣﯿﺚزادتدﻗﺔاﻟﺘﺼﻨﯿﻒﺑﻨﺴﺒﺔ5.8%وﺗﺤﺴﻦﻣﻘﯿﺎس F1-score ﺑﻨﺴﺒﺔ11%.وﺣﻘﻖأﻓﻀﻞأداءﻧﻤﻮذجاﻟﺸﺒﻜﺔاﻟﻌﺼﺒﯿﺔاﻟﺬيﯾﺠﻤﻊﺑﯿﻦ SMOTE واﺧﺘﯿﺎراﻟﺴﻤﺎت،ﺣﯿﺚ ﺑﻠﻐﺖدﻗﺔاﻟﺘﺼﻨﯿﻒ88.2%،واﻟﺪﻗﺔاﻹﯾﺠﺎﺑﯿﺔ (Precision) 89%، واﻻﺳﺘﺮﺟﺎع (Recall) 89%، وﻣﻘﯿﺎس F1-score ﺑﻨﺴﺒﺔ89 %.