Prediksi nilai jawaban esai dengan menggunakan Fasttext dan Algoritma Long Short- Term Memory (LSTM)

ABSTRAK

Penilaian jawaban esai secara manual menuntut waktu dan tenaga yang besar, rentan terhadap subjektivitas dan inkonsistensi antar-penilai, serta memperlambat umpan balik kepada siswa. Penelitian ini bertujuan membangun model penilaian esai otomatis (Automated Essay Scoring) yang menggabungkan representasi teks FastText dengan algoritma Long Short-Term Memory (LSTM) untuk menghasilkan prediksi skor yang otomatis, akurat, konsisten, dan efisien. Data yang digunakan berupa 500 respons esai Bahasa Inggris dari 100 siswa SMP Negeri 6 Singosari yang masing-masing mengerjakan lima butir soal, dengan skor guru berskala 0–100 sebagai target regresi. Teks soal dan jawaban digabungkan menggunakan token khusus <startanswer> dan <endanswer>, kemudian direpresentasikan dengan FastText berdimensi 300 yang dilatih ulang pada korpus soal–jawaban sehingga tahan terhadap kata di luar kosakata (out-of-vocabulary). Dua arsitektur, yaitu LSTM dan Bidirectional LSTM (Bi-LSTM), dilatih dan dibandingkan setelah penalaan hiperparameter sistematis melalui 38 skenario, dengan konfigurasi optimal berupa 128 unit hidden, learning rate 0,001, batch size 32, dan dropout rate 0,3. Evaluasi kinerja menggunakan Mean Absolute Percentage Error (MAPE). Hasil pengujian menunjukkan Bi-LSTM memperoleh MAPE 7,2696% (kategori “Sangat Baik”, kurang dari 10%) dengan MAE 5,5958 dan RMSE 7,4171, sedikit mengungguli LSTM (MAPE 7,3747%); sebanyak 78,67% prediksi memiliki APE di bawah 10%. Model bekerja optimal pada jawaban panjang dan jawaban dengan skor di atas KKM, namun akurasinya menurun pada jawaban di bawah KKM akibat ketidakseimbangan kelas dan pada soal yang belum pernah dilihat saat pelatihan. Penelitian ini membuktikan bahwa pemaduan representasi subword FastText dengan pemodelan konteks sekuensial LSTM efektif untuk penilaian esai otomatis.

ABSTRACT

Manual essay scoring is time-consuming and labor-intensive, prone to subjectivity and inter-rater inconsistency, and delays feedback to students. This study aims to develop an Automated Essay Scoring model that combines FastText text representation with the Long Short-Term Memory (LSTM) algorithm to produce automatic, accurate, consistent, and efficient score predictions. The dataset comprises 500 English essay responses from 100 junior high school students of SMP Negeri 6 Singosari, each answering five essay questions, with teacher scores on a 0–100 scale as the regression target. The question and answer texts are concatenated using the special tokens <startanswer> and <endanswer>, then represented with a 300-dimensional FastText model retrained on the question–answer corpus so that it is robust to out-of-vocabulary words. Two architectures, LSTM and Bidirectional LSTM (Bi-LSTM), were trained and compared after systematic hyperparameter tuning across 38 scenarios, yielding an optimal configuration of 128 hidden units, a learning rate of 0.001, a batch size of 32, and a dropout rate of 0.3. Performance was evaluated using the Mean Absolute Percentage Error (MAPE). The results show that Bi-LSTM achieved a MAPE of 7.2696% (“Very Good” category, below 10%) with an MAE of 5.5958 and an RMSE of 7.4171, slightly outperforming LSTM (MAPE 7.3747%); 78.67% of predictions had an APE below 10%. The model performed best on long answers and above-passing-grade scores, but its accuracy declined on below-passing-grade answers due to class imbalance and on questions unseen during training. This study demonstrates that combining FastText subword representation with LSTM sequential context modeling is effective for automated essay scoring.

مستخلص البحث

إن التصحيح اليدوي لإجابات المقالات يستغرق وقتًا وجهدًا كبيرين، وهو عرضة للذاتية وعدم الاتساق بين المصحّحين، كما يؤخّر التغذية الراجعة للطلاب. يهدف هذا البحث إلى بناء نموذج للتقييم الآلي للمقالات (Automated Essay Scoring) يجمع بين تمثيل النص FastText وخوارزمية الذاكرة الطويلة قصيرة المدى LSTM لإنتاج تنبؤات بالدرجات تتّسم بالآلية والدقة والاتساق والكفاءة. تتكوّن بيانات البحث من 500 إجابة مقالية باللغة الإنجليزية لـ 100 طالب في المدرسة المتوسطة الحكومية السادسة بسنجوساري، أجاب كل منهم عن خمسة أسئلة، مع اعتماد درجات المعلّم على مقياس من 0 إلى 100 هدفًا انحداريًا. تُدمج نصوص الأسئلة والإجابات باستخدام رمزين خاصّين هما startanswer وendanswer، ثم تُمثّل باستخدام نموذج FastText ذي 300 بُعد أُعيد تدريبه على مدوّنة الأسئلة والإجابات ليكون قادرًا على معالجة الكلمات خارج المفردات. وقد دُرّبت بنيتان هما LSTM وثنائية الاتجاه Bi-LSTM وقُورن بينهما بعد ضبط منهجي للمعاملات الفائقة عبر 38 سيناريو، وكان التكوين الأمثل: 128 وحدة مخفية، ومعدّل تعلّم 0.001، وحجم دفعة 32، ومعدّل إسقاط 0.3. واستُخدم متوسّط النسبة المئوية للخطأ المطلق (MAPE) في التقييم. أظهرت النتائج أن نموذج Bi-LSTM حقّق قيمة MAPE بلغت 7.2696% (ضمن فئة «ممتاز»، أقل من 10%) بقيمة MAE مقدارها 5.5958 وRMSE مقدارها 7.4171، متفوّقًا تفوّقًا طفيفًا على LSTM الذي بلغت قيمة MAPE فيه 7.3747%؛ كما أن 78.67% من التنبؤات كان خطؤها النسبي المطلق أقل من 10%. ويعمل النموذج على النحو الأمثل مع الإجابات الطويلة والدرجات التي تفوق حدّ النجاح، غير أن دقّته تنخفض مع الإجابات دون حدّ النجاح ومع الأسئلة التي لم تُعرض أثناء التدريب. ويُثبت هذا البحث أن الجمع بين تمثيل FastText على مستوى الوحدات الجزئية (subword) والنمذجة التسلسلية بخوارزمية LSTM فعّالٌ في التقييم الآلي لإجابات المقالات.