Prediksi tingkat kepercayaan masyarakat pilpres terhadap 2024 menggunakan metode Naive Bayes dan Support Vector Machine

ABSTRAK

Dalam era modern ini, dunia maya telah menjadi salah satu aspek yang tak terpisahkan dari kehidupan sehari-hari kita. Dengan banyaknya jumlah pengguna maka semakin banyak pula data yang tersimpan serta pemanfaatan yang paling tepat dan optimal adalah tuntutan yang harus terslesaikan. Dalam permasalahan tersebut langkah yang paling tepat adalah melakukan pemanfaatan data untuk tujuan prediksi data dengan menggabungkan teknik TF-IDF dengan 2 metode yang berbeda, disimpulkan bahwa model pada teknik TF-IDF menggunakan metode SVM menunjukkan kinerja yang lebih unggul. Secara khusus, model SVM memiliki tingkat akurasi sebesar 81%, sedangkan model Naïve Bayes hanya mencapai 79%. Lebih lanjut, precision pada model SVM mencapai 76%, sedangkan pada model Naïve Bayes hanya sebesar 70%. Meskipun recall model SVM hanya sedikit lebih tinggi daripada Naïve bayes yaitu 83%: 80%, namun nilai F1-score yang mencapai 79% pada model SVM menunjukkan keseimbangan yang baik antara ketepatan dan keberhasilan dalam menemukan informasi, sedangkan model Naïve bayes hanya mencapai 74%. Kemudian dari hasil evaluasi penerapan kedua model yang telah dilakukan terdapat beberpa permasalahan yang ditemukan dalam penerapanya anatara lain. Pertama, ukuran korpus teks yang besar dapat memperlambat waktu processing karena memerlukan sumber daya komputasi yang signifikan untuk melatih model. Kedua, masalah ketidak seimbangan kelas dalam data sentimen dapat menyebabkan performa yang tidak optimal atau machine akan cendrung mengarah pada jumlah kelas data yang tinggi. Kesimpulan akhir dari penelitian ini mendukung penggunaan teknik TF-IDF dengan metode SVM sebagai pendekatan yang lebih efektif dalam melakukan prediksi data dibandingkan dengan teknik TF-IDF + Naïve Bayes

مستخلص البحث

في هذا العصر الحديث، أصبح الفضاء الإلكتروني جانبًا لا ينفصل عن حياتنا اليومية. الفضاء الإلكتروني، أو الإنترنت، هو نتيجة التقدم في تكنولوجيا المعلومات التي أحدثت ثورة في العالم على مدى العقود القليلة الماضية. ومع تزايد عدد المستخدمين، يتم تخزين المزيد والمزيد من البيانات ويصبح الاستخدام الأمثل والأنسب مطلبًا لا بد منه يتم حلها. في هذه المشكلة، فإن الخطوة الأكثر ملائمة هي استخدام البيانات لأغراض التنبؤ بالبيانات من خلال الجمع بين تقنية TF-IDF وطريقتين مختلفتين. وقد تم التوصل إلى أن النموذج في تقنية TF-IDF باستخدام طريقة SVM أظهر أداءً متفوقًا. على وجه التحديد، يتمتع نموذج SVM بمعدل دقة يبلغ 81%، في حين يصل نموذج Naïve Bayes إلى 79% فقط. علاوة على ذلك، وصلت الدقة في نموذج SVM إلى 76%، بينما في نموذج Naïve Bayes كانت 70% فقط. على الرغم من أن استدعاء نموذج SVM أعلى قليلاً فقط من Naïve Bayes، أي 83٪: 80٪، فإن قيمة درجة F1 البالغة 79٪ لنموذج SVM تظهر توازنًا جيدًا بين الدقة والنجاح في العثور على المعلومات، في حين أن Naïve نموذج بايز يصل إلى 74% فقط. ومن ثم، فمن خلال نتائج تقييم تنفيذ النموذجين اللذين تم تنفيذهما، هناك عدة مشاكل في تنفيذهما، من بين أمور أخرى. أولاً، يمكن لمجموعة نصية كبيرة أن تبطئ وقت المعالجة لأنها تتطلب موارد حاسوبية كبيرة لتدريب النموذج. ثانيًا، يمكن أن تؤدي مشكلة عدم التوازن الطبقي في بيانات المشاعر إلى أداء دون المستوى الأمثل أو تميل الآلة إلى أن تؤدي إلى عدد كبير من فئات البيانات. الاستنتاج النهائي لهذا البحث يدعم استخدام تقنية TF-IDF مع طريقة SVM كنهج أكثر فعالية في التنبؤ بالبيانات مقارنة بتقنية TF-IDF + Naïve Bayes

ABSTRACT

In this modern era, cyberspace has become an inseparable aspect of our daily lives. Cyberspace, or the internet, is the result of advances in information technology that have revolutionized the world over the last few decades. With the large number of users, the more data is stored and the most appropriate and optimal use of it is a demand that must be resolved. In this problem, the most appropriate step is to utilize data for data prediction purposes by combining the TF-IDF technique with 2 different methods. It was concluded that the model in the TF-IDF technique using the SVM method showed superior performance. Specifically, the SVM model has an accuracy rate of 81%, while the Naïve Bayes model only reaches 79%. Furthermore, the precision in the SVM model reached 76%, while in the Naïve Bayes model it was only 70%. Even though the recall of the SVM model is only slightly higher than Naïve Bayes, namely 83%: 80%, the F1-score value of 79% for the SVM model shows a good balance between accuracy and success in finding information, while the Naïve Bayes model only reaches 74% . Then, from the results of the evaluation of the implementation of the two models that have been carried out, there are several problems found in their implementation, among others. First, a large text corpus can slow down processing time because it requires significant computing resources to train the model. Second, the problem of class imbalance in sentiment data can cause suboptimal performance or the machine will tend to lead to a high number of data classes. The final conclusion of this research supports the use of the TF-IDF technique with the SVM method as a more effective approach in predicting data compared to the TF-IDF + Naïve Bayes technique.