Analisis sentimen pengguna X terhadap aplikasi iPusnas menggunakan metode Naive Bayes

ABSTRAK

Aplikasi iPusnas memiliki banyak opini positif dan negatif, contohnya seperti aplikasi iPusnas mempunyai koleksi yang lengkap, pinjam buku di iPusnas gratis, atau iPusnas sering error, serta antrean iPusnas lama. Banyak pengguna yang memberikan tanggapan tentang iPusnas yang pernah mereka gunakan dalam bentuk opini berupa pengalaman baik maupun buruk. Opini dengan bahasa Indonesia di X tentang aplikasi iPusnas akan dijadikan sebagai data penelitian. Tujuan penelitian ini adalah untuk mengetahui nilai akurasi dari algoritma Multinomial Naïve Bayes dalam analisis sentimen terhadap aplikasi iPusnas pada media sosial X. Metode yang digunakan pada penelitian ini adalah Multinomial Naïve Bayes yang termasuk dalam algoritma probabilitas, serta evaluasi kinerja modelnya menggunakan Confusion Matrix. Berdasarkan hasil dari evaluasi model, diketahui bahwa nilai tertinggi ada pada rasio 90:10 yang memiliki akurasi sebesar 82%, pada rasio 80:20 memiliki akurasi sebesar 79%, serta pada rasio 70:30 sebesar 74%. Pengujian rasio 90:10 memiliki akurasi 82%, dilihat dari kelas positif presisi sejumlah 80%, recall sejumlah 83%, f1-score sejumlah 82%. Sedangkan dilihat dari kelas negatif presisi sejumlah 85%, recall sejumlah 82%, f1-score 84%.

ABSTRACT

The iPusnas application receives many positive and negative opinions for example, it has a complete collection, offers free book borrowing, often experiences errors, and has a long queue. Many users give their opinions about the iPusnas, sharing their good and bad experiences. The research data consists of opinions in the Indonesian language on X dealing with the iPusnas application. The research aims to determine the accuracy level of the Multinomial Naïve Bayes algorithm in sentiment analysis on iPusnas application on X social media. The research employed Multinomial Naïve Bayes included in the probability algorithm, and the model performance evaluation used a Confusion Matrix. The model evaluation result shows that the highest score is for a ratio of 90:10, which has an accuracy level of 82%. The ratio of 80:20 has an accuracy level of 79%, and the ratio of 70:30 has an accuracy level of 74%. The testing of a 90:10 ratio has an accuracy level of 82%. The positive class shows a precision of 80%, a recall of 83%, and an f1-score of 82%. Meanwhile, the negative class shows a precision of 85%, a recall of 82%, and an f1-score of 84%.

مستخلص البحث

يحتوي تطبيق iPusnas على عدة الآراء الإيجابية والسلبية، على سبيل المثال يحتوي تطبيق iPusnas على مجموعة كاملة، أو استعارة الكتب في iPusnas مجانية، أو iPusnas غالبا ما تكون أخطاء، بالإضافة إلى قوائم انتظار iPusnas الطويلة. قدم العديد من المستخدمين ملاحظات حول iPusnas التي استخدموها في شكل آراء في صورة تجارب جيدة وسيئة. سيتم استخدام الرأي باللغة الإندونيسية في X حول تطبيق iPusnas كبيانات بحثية. الهدف من هذا البحث هو معرفة قيمة دقة خوارزمية المصنف البايزي الساذج متعددة الحدود في تحليل المشاعر لتطبيق iPusnas على وسائل التواصل الاجتماعي X. الطريقة المستخدمة في هذا البحث هي Naïve Bayes 'Multinomial والتي يتم تضمينها في خوارزمية الاحتمالات، بالإضافة إلى تقييم أداء النموذج باستخدام مصفوفة الارتباك. بناء على نتائج تقييم النموذج، من المعروف أن أعلى درجة هي في نسبة 90:10 التي تبلغ دقتها 82٪، بينما تبلغ دقة نسبة 80:20 79٪ ، وبنسبة 70:30 74٪. تمتع اختبار نسبة 90:10 بدقة 82٪، انطلاقا من فئة الدقة الإيجابية بنسبة 80٪، والاستدعاء بنسبة 83٪ ، ودرجة ف1 بنسبة 82٪. وفي الوقت نفسه، انطلاقا من فئة الدقة السلبية بنسبة 85٪، والاستدعاء بنسبة 82٪، ودرجة ف1 بنسبة 84%.