Klasifikasi Hierarkis ujaran toksik multi-label menggunakan model RoBERTa

INDONESIA:

Ujaran toksik di media sosial dapat memberikan dampak negatif terhadap individu maupun lingkungan digital sehingga diperlukan sistem deteksi otomatis yang mampu mengidentifikasi berbagai bentuk toksisitas secara akurat. Penelitian ini bertujuan menganalisis efektivitas pendekatan klasifikasi hierarkis berbasis RoBERTa dalam melakukan klasifikasi ujaran toksik multilabel pada teks berbahasa Indonesia. Penelitian membandingkan tiga skenario klasifikasi, yaitu klasifikasi biner independen, klasifikasi multilabel datar (flat multi-label classification), dan klasifikasi hierarkis (hierarchical classification). Untuk mengatasi permasalahan ketidakseimbangan kelas yang terdapat pada data, diterapkan teknik random undersampling pada proses pembagian data. Dataset dibagi menjadi data pelatihan dan data pengujian dengan rasio 85:15, sedangkan proses pelatihan dan validasi model dilakukan menggunakan Multilabel Stratified 5-Fold Cross Validation pada data pelatihan. Evaluasi dilakukan menggunakan metrik accuracy, precision, recall, F1-score, Subset Accuracy, dan hamming loss. Hasil pengujian menunjukkan bahwa model klasifikasi biner pada Skenario 1 memperoleh F1-score sebesar 79,07% dan recall sebesar 85,58%, sedangkan Level 1 pada pendekatan hierarkis memperoleh accuracy sebesar 79,64% dan F1-score sebesar 80,01%. Pada tugas klasifikasi multilabel, Skenario 2 menghasilkan macro F1-score sebesar 32,07%, sementara Level 2 pada Skenario 3 mencapai macro F1-score sebesar 52,47%. Evaluasi end-to-end menunjukkan bahwa pendekatan hierarkis menghasilkan Subset Accuracy sebesar 49,18%, lebih tinggi dibandingkan pendekatan flat multi-label classification yang memperoleh 43,68%. Hasil penelitian menunjukkan bahwa pendekatan klasifikasi hierarkis mampu meningkatkan performa klasifikasi ujaran toksik multilabel pada data yang tidak seimbang dengan membagi permasalahan ke dalam tahapan yang lebih terfokus. Temuan ini mengindikasikan bahwa struktur klasifikasi bertingkat lebih efektif dibandingkan pendekatan multilabel datar dalam menangani kompleksitas hubungan antarkategori ujaran toksik.

ENGLISH:

Toxic speech on social media can negatively affect individuals and digital communities, making automatic detection systems essential for identifying various forms of toxicity accurately. This study aims to analyze the effectiveness of a RoBERTa-based hierarchical classification approach for multi-label toxic speech classification in Indonesian texts. The research compares three classification scenarios, namely independent binary classification, flat multi-label classification, and hierarchical classification. To address the class imbalance problem within the dataset, a random undersampling technique was applied during split data process. The dataset was divided into training and testing sets using an 85:15 ratio, while model training and validation were conducted using Multilabel Stratified 5-Fold Cross Validation on the training set. Model performance was evaluated using accuracy, precision, recall, F1-score, Subset Accuracy, and hamming loss metrics. The experimental results show that the binary classification model in Scenario 1 achieved an F1-score of 79.07% and a recall of 85.58%, while Level 1 of the hierarchical approach obtained an accuracy of 79.64% and an F1-score of 80.01%. For the multi-label classification task, Scenario 2 achieved a macro F1-score of 32.07%, whereas Level 2 of Scenario 3 reached a macro F1-score of 52.47%. End-to-end evaluation demonstrated that the hierarchical approach achieved an Subset Accuracy of 49.18%, outperforming the flat multi-label classification approach, which achieved 43.68%. The findings indicate that hierarchical classification improves multi-label toxic speech classification performance on imbalanced data by decomposing the problem into more focused classification stages. These results suggest that a hierarchical classification structure is more effective than a flat multi-label approach in handling the complexity of relationships among toxic speech categories.

ARABIC:

يمكن أن يؤثر الخطاب السام على وسائل التواصل الاجتماعي تأثيرًا سلبيًا على الأفراد والمجتمعات الرقمية، مما يجعل أنظمة الكشف التلقائي ضرورةً أساسيةً للتعرف على أشكال السمية المختلفة بدقة عالية. تهدف هذه الدراسة إلى تحليل فاعلية نهج التصنيف الهرمي المبني على نموذج RoBERTa لتصنيف الخطاب السام متعدد التصنيفات في النصوص الإندونيسية. تقارن الدراسة ثلاثة سيناريوهات للتصنيف، هي: التصنيف الثنائي المستقل، والتصنيف المسطّح متعدد التصنيفات، والتصنيف الهرمي. ولمعالجة مشكلة اختلال توازن الفئات في مجموعة البيانات، تم تطبيق أسلوب التقليل العشوائي للعينات خلال عملية التدريب. قُسِّمت مجموعة البيانات إلى مجموعتَي تدريب واختبار بنسبة 85:15، فيما أُجري تدريب النموذج والتحقق من صحته باستخدام التحقق المتقاطع متعدد التصنيفات الطبقي بخمسة أجزاء على مجموعة التدريب. وقد قُيِّم أداء النموذج باستخدام مقاييس الدقة، والضبط، والاسترجاع، ومقياس F1، ودقة المجموعة الفرعية، وخسارة هامينج. أظهرت نتائج التجارب أن نموذج التصنيف الثنائي في السيناريو الأول حقق مقياس F1 بنسبة 79.07% ومعدل استرجاع 85.58%، في حين حقق المستوى الأول من النهج الهرمي دقةً بلغت 79.64% ومقياس F1 بنسبة 80.01%. أما على صعيد مهمة التصنيف متعدد التصنيفات، فقد حقق السيناريو الثاني مقياس F1 الكلي بنسبة 32.07%، بينما بلغ المستوى الثاني من السيناريو الثالث مقياس F1 الكلي 52.47%. وكشف التقييم الشامل من البداية إلى النهاية أن النهج الهرمي حقق دقة مجموعة فرعية بلغت 49.18%، متفوقًا بذلك على نهج التصنيف المسطّح متعدد التصنيفات الذي حقق 43.68%. تشير هذه النتائج إلى أن التصنيف الهرمي يُحسِّن أداء تصنيف الخطاب السام متعدد التصنيفات على البيانات غير المتوازنة، وذلك بتحليل المشكلة إلى مراحل تصنيف أكثر تركيزًا. وتدل هذه النتائج على أن البنية الهرمية للتصنيف أكثر فاعليةً من النهج المسطّح متعدد التصنيفات في التعامل مع تعقيد العلاقات بين فئات الخطاب السام.