Implementasi algoritma Naïve Bayes untuk analisis sentimen pada ulasan Aplikasi Samsat Digital Online (SIGNAL)

INDONESIA

Aplikasi Samsat Digital Online (SIGNAL) merupakan platform yang bertujuan untuk mempermudah masyarakat dalam melakukan pembayaran pajak kendaraan secara online. Namun, aplikasi ini menghadapi tantangan terkait dengan kualitas analisis sentimen dari ulasan pengguna yang dapat memberikan gambaran mengenai kepuasan dan keluhan mereka terhadap layanan yang disediakan. Penelitian ini bertujuan untuk mengidentifikasi tingkat akurasi dalam melakukan analisis sentimen terhadap ulasan aplikasi SIGNAL menggunakan algoritma Naïve Bayes, serta menganalisis pengaruh penggunaan teknik feature selection dengan uji Chi-Square terhadap akurasi model. Data ulasan pengguna dikumpulkan melalui web scraping dari Google Play Store dan diproses melalui tahap preprocessing, TF-IDF, serta seleksi fitur dan SMOTE. Model yang digunakan mencapai akurasi 86,19%, dengan presisi tinggi untuk sentimen positif 87,17% dan negatif 97,17%, namun masih rendah pada sentimen netral 79,41%. Rata-rata akurasi 5-Fold Cross Validation adalah 78,40%. Hasil ini memberi wawasan bagi pengembang SIGNAL dalam meningkatkan layanan berdasarkan sentimen pengguna.

ENGLISH

The Samsat Digital Online (SIGNAL) application is a platform designed to simplify the process of online vehicle tax payments for the public. However, the application faces challenges related to the quality of sentiment analysis of user reviews, which can provide insights into user satisfaction and complaints about the services offered. This study aims to identify the accuracy level in sentiment analysis of SIGNAL application reviews using the Naïve Bayes algorithm, as well as analyze the impact of feature selection with Chi-Square testing on the model's accuracy. User review data was collected through web scraping from the Google Play Store and processed through preprocessing, TF-IDF, feature selection, and SMOTE. The average training accuracy of 5-Fold Cross Validation is 78,40%. The model used achieved an accuracy of 86,19% on the testing data, with high precision for positive sentiment of 87,17% and negative sentiment of 97,17%, but is still low at neutral sentiment 79,41%. These results provide insights for SIGNAL developers in improving their services based on user sentiment.

مستخلص البحث

تطبيق سامسات الرقمي عبر الإنترنت (SIGNAL) هو منصة تهدف إلى تسهيل المجتمع في دفع ضريبة المركبات عبر الإنترنت. ومع ذلك، واجه هذا التطبيق تحديات تتعلق بجودة تحليل المشاعر من مراجعات المستخدمين التي يمكن أن تعكس رضاهم وشكاواهم تجاه الخدمات المقدمة. هذف هذا البحث إلى تحديد دقة تحليل المشاعر في مراجعات تطبيق SIGNAL باستخدام خوارزمية نايف بايز، وكذلك تحليل تأثير استخدام تقنية اختيار السمات باختبار Chi-Square على دقة النموذج. تم جمع بيانات مراجعات المستخدمين من خلال Web Scraping من متجر Google Play وتمت معالجتها من خلال مراحل المعالجة المسبقة، وTF-IDF، واختيار السمات، و .SMOTE وقد حقق النموذج المستخدم دقة بلغت ٪٨٦٫١٩، بدقة عالية للمشاعر الإيجابية بنسبة ٪٨٧٫١٧ والسلبية بنسبة ٪٩٧٫١٧، ولكنها لا تزال منخفضة للمشاعر المحايدة بنسبة ٪٧٩٫٤١. أما متوسط دقة التحقق المتقاطع (5-Fold Cross Validation) فقد بلغ ٪٧٨٫٤٠. وتوفر هذه النتائج رؤية لمطوري تطبيق SIGNAL لتحسين الخدمات بناءً على مشاعر المستخدمين.