Penerapan Backpropagation Neural Network dan Smote pada analisis Sentimen ulasan pengguna MYXL di Google Play Store

ABSTRAK

Opini pelanggan sangat penting bagi suatu perusahaan untuk memahami produk atau layanannya. Analisis sentimen membantu perusahaan mendapatkan wawasan lebih dalam dari ulasan pelanggan. Namun, ketidakseimbangan data seringkali menjadi tantangan. Model tersebut cenderung mengakui kelas mayoritas sehingga mengabaikan kelas minoritas dan membuat hasil analisis menjadi bias. Penelitian ini mengkaji sentimen ulasan pengguna aplikasi MyXL di Google Play Store dengan menggunakan teknik SMOTE untuk menangani ketidakseimbangan data, dan algoritma Backpropagation Neural Network sebagai model klasifikasinya. Optimasi model dilakukan melalui pelatihan awal menggunakan teknik validasi silang dan penyetelan hyperparameter manual. Pelatihan selanjutnya dilakukan dengan fine-tuning nilai di sekitar learning rate yang menghasilkan performa model terbaik pada pelatihan awal. Fine-tuning menghasilkan performa model paling optimal dengan accuracy 74% dan F1-score 69,71% pada nilai learning rate antara 0,0098 hingga 0,0104 menggunakan kombinasi parameter dua hidden layer dan neuron (128,64).

ABSTRACT

Customer opinion is very important for a company to understand its products or services. Sentiment analysis helps companies gain deeper insights from customer reviews. However, data imbalance is often a challenge. The model tends to recognize the majority class, thereby ignoring the minority class and making the analysis results biased. This research examines the sentiment of user reviews of the MyXL application on the Google Play Store using the SMOTE technique to handle data imbalance, and the Backpropagation Neural Network algorithm as a classification model. Model optimization was done through initial training using cross-validation techniques and manual hyperparameter tuning. Subsequent training is performed by fine-tuning the values around the learning rate which results in the best model performance on initial training. Fine-tuning produces the most optimal model performance with an accuracy of 74% and an F1 score of 69.71% at learning rate values between 0.0098 and 0.0104 using a combination of two hidden layer parameters and neurons (128,64).

مستخلص البحث

آراء العملاء ضرورية للشركات لفهم منتجاتها أو خدماتها. يساعد تحليل المشاعر الشركات على اكتساب رؤى أعمق من مراجعات العملاء. ومع ذلك، غالبا ما تشكل اختلالات البيانات تحديا. من المرجح أن يعترف النموذج بطبقة الأغلبية، وبالتالي يتجاهل طبقة الأقلية ويجعل نتائج تحليل التحيز. بحثت هذه الرسالة في مشاعر مراجعات مستخدمي تطبيق MyXL على متجر Google Play باستخدام تقنية SMOTE للتعامل مع اختلالات البيانات، وخوارزمية الشبكة العصبية للانتشار العكسي كنموذج تصنيف. تم تحسين النموذج من خلال التدريب الأولي باستخدام تقنية التحقق المتقاطع والضبط اليدوي للمعلمات الفائقة. تم تنفيذ التدريب التالي عن طريق الضبط الدقيق للقيمة حول معدل التعلم الذي أنتج أفضل أداء نموذجي في التدريب الأولي. ينتج الضبط الدقيق أفضل أداء للنموذج بدقة 74٪ ودرجة ف1 تبلغ 69.71٪ بمعدل تعلم يتراوح بين 0.0098 إلى 0.0104 باستخدام مجموعة من معلمات طبقتين مخفيتين و خلية عصبية (128.64).