Analisis sentimen pengguna media sosial x terhadap isu kesehatan mental mahasiswa menggunakan metode naive bayes dengan pembobotan weighted inverse document frequency (WIDF)

INDONESIA:
Penggunaan media sosial X (sebelumnya dikenal sebagai Twitter) semakin meningkat di kalangan mahasiswa sebagai sarana untuk menyampaikan pendapat, termasuk terkait isu kesehatan mental. Banyak mahasiswa menyampaikan pandangan mereka dengan perspektif yang berbeda-beda, mulai dari memberikan dukungan positif, bersikap netral, hingga berkeluh kesah dengan nada kekesalan. Oleh karena itu, diperlukan analisis untuk memahami perspektif mahasiswa terhadap isu kesehatan mental yang mereka hadapi menggunakan teknik analisis sentimen. Penelitian ini bertujuan untuk menganalisis sentimen pengguna media sosial X terhadap kesehatan mental mahasiswa dengan menggunakan algoritma Naïve Bayes, serta mengevaluasi pengaruh pembobotan WIDF (Weighting Inverse Document Frequency) terhadap performa model. Proses klasifikasi dilakukan dengan dan tanpa penerapan pembobotan WIDF, dan validasi model dilakukan menggunakan metode K-Fold Cross Validation (K=5). Evaluasi performa model diukur menggunakan confusion matrix yang mencakup metrik akurasi, presisi, recall, dan F1-score. Hasil penelitian menunjukkan bahwa pada skenario 1 (rasio data latih dan data uji 7:3), model tanpa pembobotan WIDF memberikan performa yang lebih baik dengan akurasi 58%, presisi 56%, recall 54%, dan F1-score 53%, dibandingkan dengan model yang menggunakan pembobotan WIDF, yang hanya mencapai akurasi 55%, presisi 53%, recall 52%, dan F1-score 51%. Namun, pengujian K-Fold Cross Validation membuktikan bahwa pembobotan WIDF memberikan stabilitas performa yang lebih baik dengan akurasi tertinggi sebesar 90% pada skenario yang sama. Kesimpulan dari penelitian ini adalah penerapan pembobotan WIDF tidak selalu meningkatkan performa model dalam evaluasi data uji, tetapi memberikan stabilitas performa yang lebih baik dalam kondisi tertentu, seperti pada validasi menggunakan K-Fold Cross Validation. Penelitian ini diharapkan dapat menjadi acuan dalam memilih metode pembobotan untuk meningkatkan efektivitas analisis sentimen.

ENGLISH:
The use of social media X (formerly known as Twitter) is increasing among students as a means to express opinions, including on mental health issues. Many students express their views with different perspectives, ranging from providing positive support, neutral statements, to complaining with a tone of annoyance. Therefore, an analysis is needed to understand students' perspectives on the mental health issues they face using sentiment analysis techniques. This study aims to analyze the sentiment of social media users X towards student mental health using the Naïve Bayes algorithm, as well as to spread the influence of WIDF (Weighting Inverse Document Frequency) weighting on model performance. The classification process is carried out with and without the application of WIDF weighting, and model validation is carried out using the K-Fold Cross Validation method (K = 5). Model performance evaluation is measured using a confusion matrix that includes accuracy, precision, recall, and F1-score metrics. The results showed that in scenario 1 (training data to test data ratio 7:3), the model without WIDF weighting provided better performance with 58% accuracy, 56% precision, 54% recall, and 53% F1-score, compared to the model using WIDF weighting, which only achieved 55% accuracy, 53% precision, 52% recall, and 51% F1-score. However, the K-Fold Cross Validation test proved that WIDF weighting provided better performance stability with the highest accuracy of 90% in the same scenario. The conclusion of this study is that the application of WIDF weighting does not always improve model performance in evaluating test data, but provides better performance stability under certain conditions, such as validation using K-Fold Cross Validation. This study is expected to be a reference in choosing a weighting method to improve the effectiveness of sentiment analysis.

ARABIC:
يتزايد استخدام وسائل التواصل الاجتماعي X (المعروفة سابقا باسم تويتر) بين الطلاب كوسيلة للتعبير عن الآراء، بما في ذلك ما يتعلق بقضايا الصحة العقلية. يعبر العديد من الطلاب عن آرائهم بوجهات نظر مختلفة، بدءا من تقديم الدعم الإيجابي، و والموقف المحايد، حتى الشكوى بنبرة مستاءة. لذلك، هناك حاجة إلى التحليل لفهم وجهات نظر الطلاب حول قضايا الصحة العقلية التي يواجهونها باستخدام تقنية تحليل المشاعر. تحليل المشاعر هو تقنية تهدف إلى استخراج النصوص وإدارتها بحيث يمكن تصنيفها إلى أقطاب إيجابية أو محايدة أو سلبية. هدف هذا البحث إلى تحليل مشاعر مستخدمي وسائل التواصل الاجتماعي X تجاه قضايا الصحة العقلية لدى الطلاب الجامعي باستخدام خوارزمية المصنف البايزي الساذج (Naïve Bayes Classifier)، بالإضافة إلى تقييم تردد المستند العكسي المرجح (WIDF) على أداء النموذج. تم تنفيذ عملية التصنيف مع وبدون تطبيق WIDF، وتم التحقق من صحة النموذج باستخدام طريقة التحقق المتقاطع كي-طيه (K = 5). تم قياس تقييم أداء النموذج باستخدام مصفوفة الارتباك التي تضمنت مقاييس الدقة والثبات والاستدعاء ودرجة ف1. أظهرت النتائج أنّ في السيناريو 1 (نسبة 7:3 من بيانات التدريب وبيانات الاختبار)، يوفر النموذج بدون WIDF أداء أفضل بدقة 58٪، وثبات 56٪، واستدعاء 54٪، وقيمة ف1 53٪، مقارنة بالنموذج الذي استخدم WIDF، والذي حقق دقة 55٪، ثبات 53٪، استدعاء 52٪، و قيمة ف1 51٪. ومع ذلك، أثبت اختبار التحقق المتقاطع كي-طيه أنّ WIDF وفر استقرارا أفضل للأداء بأعلى دقة تبلغ 90٪ في نفس السيناريو. وخلص هذا البحث إلى أنّ تطبيق WIDF لا يؤدي بالضرورة إلى تحسين أداء النموذج في تقييم بيانات الاختبار، ولكنه وفر استقرارا أفضل للأداء في ظل ظروف معينة، مثل التحقق من الصحة باستخدام التحقق المتقاطع كي-طيه. من المتوقع أن يكون هذا البحث مرجعا في اختيار طريقة الترجيح لزيادة فعالية تحليل المشاعر.