Perbandingan kinerja metode VADER Dan Naive Bayes dalam klasifikasi sentimen ulasan aplikasi dana

INDONESIA

Aplikasi DANA merupakan salah satu layanan dompet digital yang banyak digunakan di Indonesia. Banyaknya ulasan pengguna pada Google Play Store mengandung informasi berupa opini, kritik, dan saran yang dapat dimanfaatkan untuk mengevaluasi kualitas layanan aplikasi. Namun, volume ulasan yang besar membuat analisis secara manual menjadi tidak efisien sehingga diperlukan analisis sentimen otomatis. Penelitian ini membandingkan performa metode VADER (Valence Aware Dictionary and Sentiment Reasoner) berbasis leksikon dan Naive Bayes berbasis machine learning dalam klasifikasi sentimen ulasan pengguna aplikasi DANA. Dataset berjumlah 50.000 ulasan diperoleh dari Kaggle dan telah memiliki label sentimen. Data diproses melalui tahapan preprocessing meliputi case folding, cleaning, tokenizing, stopword removal, dan stemming. Ekstraksi fitur dilakukan menggunakan TF-IDF dan evaluasi menggunakan confusion matrix dengan metrik accuracy, precision, recall, dan F1-score. Hasil penelitian menunjukkan Naive Bayes memperoleh akurasi 77,14%, lebih tinggi dibandingkan VADER yang hanya mencapai 67,76%, dengan selisih 9,38%. Metode Naive Bayes terbukti lebih efektif untuk klasifikasi sentimen ulasan berbahasa Indonesia dan bahasa inggris yang banyak mengandung bahasa informal.

ENGLISH

DANA is one of the most widely used digital wallet applications in Indonesia. The large volume of user reviews on Google Play Store contains valuable information in the form of opinions, criticisms, and suggestions that can be utilized to evaluate service quality. However, the sheer number of reviews makes manual analysis inefficient, necessitating automated sentiment analysis. This study compares the performance of VADER (Valence Aware Dictionary and Sentiment Reasoner), a lexicon-based method, and Naive Bayes, a machine learning approach, for classifying sentiment from DANA application user reviews. A dataset of 50,000 reviews obtained from Kaggle with pre-existing sentiment labels was used. The data were processed through preprocessing stages including case folding, cleaning, tokenizing, stopword removal, and stemming. Feature extraction was performed using TF-IDF and evaluation employed a confusion matrix with accuracy, precision, recall, and F1-score metrics. Results show that Naive Bayes achieved an accuracy of 77.14%, outperforming VADER at 67.76%, a difference of 9.38%. Naive Bayes is proven more effective for sentiment classification of Indonesian-language reviews that contain extensive informal language.

مستخلص البحث

يُعد تطبيق DANA أحد أكثر تطبيقات المحافظ الرقمية استخدامًا في إندونيسيا. ويحتوي العدد الكبير من مراجعات المستخدمين المنشورة على متجر Google Play على معلومات قيّمة تتمثل في الآراء والانتقادات والاقتراحات التي يمكن الاستفادة منها لتقييم جودة الخدمات المقدمة. إلا أن كثرة هذه المراجعات تجعل تحليلها يدويًا أمرًا غير فعّال، مما يستدعي استخدام تقنيات تحليل المشاعر الآلي. تهدف هذه الدراسة إلى مقارنة أداء طريقة VADER (Valence Aware Dictionary and Sentiment Reasoner) المعتمدة على القاموس، وطريقة Naïve Bayes المعتمدة على التعلم الآلي، في تصنيف مشاعر مراجعات مستخدمي تطبيق DANA.
اعتمدت الدراسة على مجموعة بيانات تضم 50,000 مراجعة جُمعت من منصة Kaggle، وكانت مصنفة مسبقًا وفق فئات المشاعر. وقد خضعت البيانات لعدة مراحل من المعالجة المسبقة شملت تحويل الأحرف إلى الصغيرة (Case Folding) والتنظيف (Cleaning)، وتقسيم النص إلى كلمات (Tokenizing)، وإزالة الكلمات الشائعة (Stopword Removal)، واستخراج الجذور (Stemming). بعد ذلك، استُخدمت طريقة TF-IDF لاستخراج الخصائص، وتم تقييم أداء النموذجين باستخدام مصفوفة الالتباس (Confusion Matrix) اعتمادًا على مقاييس الدقة (Accuracy)، والإحكام (Precision)، والاسترجاع (Recall)، ودرجة F1-Score. وأظهرت النتائج أن طريقة Naïve Bayes حققت دقة بلغت 77.14٪، متفوقةً على طريقة VADER التي حققت 67.76٪، بفارق 9.38٪. وتشير هذه النتائج إلى أن طريقة Naïve Bayes أكثر فاعلية في تصنيف مشاعر المراجعات المكتوبة باللغة الإندونيسية، خاصةً تلك التي تتضمن قدرًا كبيرًا من اللغة غير الرسمية.