Klasifikasi renewal status pada platform bimbingan belajar daring dengan metode random forest

INDONESIA

Fenomena churn atau tidak diperpanjangnya langganan pengguna merupakan salah satu permasalahan yang dapat memengaruhi retensi pengguna pada platform bimbingan belajar daring. Penelitian ini bertujuan untuk menganalisis performa algoritma Random Forest dalam mengklasifikasikan Renewal Status pengguna menjadi kelas churn dan non-churn. Dataset yang digunakan berasal dari Kaggle dengan total 14.843 data. Tahapan penelitian meliputi preprocessing data, feature selection, normalisasi menggunakan MinMax Scaling, penyeimbangan data menggunakan SMOTE, serta optimasi parameter menggunakan GridSearchCV. Evaluasi model dilakukan menggunakan Accuracy, Precision, Recall, F1-Score, ROC AUC, Confusion Matrix, dan Stratified K-Fold Cross Validation. Hasil penelitian menunjukkan bahwa model Random Forest mampu melakukan klasifikasi Renewal Status, namun performanya masih belum optimal. Skenario terbaik diperoleh pada penggunaan 1.000 data dengan nilai Accuracy 71%, Precision 23%, Recall 25%, F1-Score 24%, dan ROC AUC 54%. Hasil tersebut menunjukkan bahwa kemampuan model dalam membedakan pengguna churn dan non-churn masih terbatas, sehingga diperlukan pengembangan lebih lanjut untuk meningkatkan performa klasifikasi.

ENGLISH

The phenomenon of user churn, or the discontinuation of subscription renewal, is one of the challenges that can affect user retention in online tutoring platforms. This study aims to analyze the performance of the Random Forest algorithm in classifying users’ Renewal Status into churn and non-churn categories. The dataset used in this study was obtained from Kaggle and consists of 14,843 records. The research process includes data preprocessing, feature selection, MinMax Scaling normalization, data balancing using SMOTE, and hyperparameter optimization using GridSearchCV. Model evaluation was conducted using Accuracy, Precision, Recall, F1-Score, ROC AUC, Confusion Matrix, and Stratified K-Fold Cross Validation. The results indicate that the Random Forest model is capable of performing Renewal Status classification; however, its performance is still not optimal. The best scenario was obtained using 1,000 data samples, achieving an Accuracy of 71%, Precision of 23%, Recall of 25%, F1-Score of 24%, and ROC AUC of 54%. These findings suggest that the model's ability to distinguish between churn and non-churn users remains limited. Therefore, further improvements are needed to enhance the classification performance.

ARAB

تُعد ظاهرة تسرب المستخدمين (Churn) أو عدم تجديد الاشتراك من المشكلات التي تؤثر على معدل الاحتفاظ بالمستخدمين في منصات التعليم الإلكتروني. تهدف هذه الدراسة إلى تحليل أداء خوارزمية الغابة العشوائية (Random Forest) في تصنيف حالة تجديد الاشتراك إلى فئتي المستخدمين المتسربين وغير المتسربين. اعتمدت الدراسة على مجموعة بيانات مأخوذة من منصة Kaggle تضم 14,843 سجلًا. شملت مراحل البحث معالجة البيانات الأولية، واختيار الخصائص، وتطبيع البيانات باستخدام MinMax Scaling، وموازنة الفئات باستخدام تقنية SMOTE، بالإضافة إلى تحسين معلمات النموذج باستخدام GridSearchCV. وتم تقييم النموذج باستخدام مقاييس الدقة (Accuracy)، والاستدعاء (Recall)، والدقة النوعية (Precision)، ودرجة F1، وROC AUC، ومصفوفة الالتباس (Confusion Matrix)، وطريقة Stratified K-Fold Cross Validation. أظهرت النتائج أن نموذج الغابة العشوائية قادر على تصنيف حالة تجديد الاشتراك، إلا أن أداءه ما زال غير مثالي. وقد حقق أفضل أداء عند استخدام 1000 سجل بيانات، حيث بلغت الدقة 71%، والدقة النوعية 23%، والاستدعاء 25%، ودرجة F1 بنسبة 24%، وقيمة ROC AUC بنسبة 54%. وتشير هذه النتائج إلى أن قدرة النموذج على التمييز بين المستخدمين المتسربين وغير المتسربين ما زالت محدودة، مما يستدعي إجراء مزيد من التحسينات لرفع كفاءة التصنيف.