EFL students' perception of Grammarly premium's feedback and how they deal with the inaccuracy

ENGLISH:

Many EFL students in Indonesia struggle to write a good thesis because they have to transform the information from their research academically and write in their non-native language. This process might cause errors in writing content, vocabulary, and other mechanical issues. The development of AWE (Automated Writing Evaluation) programs can be one of the ways to overcome this problem. Because of that, this research is interested in studying one of the popular AWE programs, Grammarly Premium, used by students in writing an academic thesis. This study aims to: (1) explore EFL students’ perceptions of Grammarly Premium feedback, (2) provide a detailed analysis of the types of inaccurate feedback provided by Grammarly Premium, (3) investigate how students handle their inaccuracies.

This study used a qualitative approach case study, with data collection methods using questionnaires, semi-structured interviews, and documentation. The subjects in this study were students majoring in English Tadris at UIN Maulana Malik Ibrahim Malang class of 2017 and 2018 who were writing or had completed their thesis. Questionnaires were given to 22 students, interviews were conducted with 5 students, and documentation was conducted on 3 students. The data analysis technique was carried out by descriptive analysis (coding, data reduction, presentation, and concluding).

The results of this study indicate that: (1) students have positive and negative perceptions of the use of Grammarly Premium. They revealed that Grammarly Premium helped them in writing. The "correctness" feature improved spelling, grammar, punctuation, convention, article, and consistency. The “clarity” feature improves readability, such as conciseness and passive voice. Engagement feature made writing varied, and delivery features to get the tone right. On the other hand, students complained that Grammarly Premium had a stable internet connection to work and required additional proofreading due to some inaccurate feedback. (2) Inaccurate feedback generally occurred in the features of correctness (convention, spelling, punctuation, article, and consistency), Clarity (Passive voice and conciseness), and engagement (variety). (3) Students continued to use Grammarly Premium because it helped them proofread even though it had some inaccurate feedback.

INDONESIA:

Banyak mahasiswa EFL berjuang untuk menulis skripsi yang baik karena mereka harus mengubah informasi dari penelitian mereka secara akademis, dan harus menuliskannya dalam bahasa yang bukan bahasa ibu mereka. Hal ini memungkinkan terjadinya kesalahan, baik dari segi konten, kosa kata, dan kesalahan mekanik lainnya. Pengembangan program AWE (Automated Writing Evaluation) dapat menjadi salah satu cara untuk mengatasi masalah ini. Oleh karena itu, penelitian ini tertarik untuk mengkaji salah satu program AWE yang populer yaitu Grammarly Premium ketika digunakan oleh mahasiswa dalam penulisan skripsi. Penelitian ini bertujuan untuk: (1) mengeksplorasi persepsi mahasiswa EFL tentang umpan balik Grammarly Premium, (2) memberikan analisis terperinci tentang jenis umpan balik yang tidak akurat yang diberikan oleh Grammarly Premium, (3) menyelidiki bagaimana siswa menangani ketidakakuratannya.

Penelitian ini menggunakan pendekatan kualitatif studi kasus, dengan metode pengumpulan data menggunakan kuesioner, wawancara semi-terstruktur, dan dokumentasi. Subjek pada penelitian ini adalah mahasiswa jurusan Tadris Bahasa Inggris pada kampus X di Malang angkatan 2017 dan 2018 yang sedang menulis atau telah menyelesaikan skripsi. Kuesioner diberikan kepada 22 mahasiswa, wawancara dilakukan dengan 5 mahasiswa, dan dokumentasi dilakukan terhadap 3 mahasiswa. Teknik analisis data dilakukan dengan cara analisis deskriptif (pengkodean, reduksi data, penyajian, dan penarikan kesimpulan).

Hasil penelitian ini menujukkan bahwa: (1) siswa memiliki persepsi yang positif dan negatif terhadap penggunaan Grammarly Premium. Mereka merasa terbantu dengan adanya fitur “correctness” yang dapat meningkatkan spelling, grammar, punctuation, convention, article, dan consistency. Fitur “clarity” untuk meningkatkan keterbacaan, seperti conciseness dan passive voice. Fitur engagement untuk membuat tulisan lebih bervariasi, dan fitur “delivery” untuk menyampaikan nada tulisan dengan tepat. Di sisi lain, siswa mengeluh bahwa Grammarly Premium harus memiliki koneksi internet yang stabil dan memerlukan proofreading tambahan karena beberapa umpan balik tidak akurat (2) Misleading feedback umumnya terjadi pada fitur correctness (convention, spelling, punctuation, article, and consistency), fitur Clarity (Passive voice and conciseness), dan fitur engagement (variety). (3) siswa tetap menggunakan Grammarly Premium karena Grammarly Premium membantu mereka dalam self-proofreading meskipun terdapat beberapa umpan balik yang tidak akurat.

ARABIC:

يجب أن يكون لدى الطلبة فهم جيد لقواعد اللغة الإنجليزية، خاصة عند الكتابة في الكتابة الأكاديمية. ولكن، لا يزال هناك العديد من الطلبة الذين يجدون الصعوبة في فهم القواعد. يمكن أن يكون تطوير برنامج تقييم الكتابة الآلية إحدى الطرق لحل هذه المشكلة. لذلك ، تهتم هذا البحث الجامعي بفحص أحد برامج تقييم الكتابة الآلية الشائعة، وهي قسط نحوي (Grammarly Premium) عند استخدامها من قبل الطلبة في كتابة البحث الجامعي. أهداف لهذا البحث الجامعي إلى: (١) استكشاف تصورات طلبة اللغة الإنجليزية الأجنبية حول ردود الفعل من قسط نحوي (Grammarly Premium)، (٢) تقديم تحليل مفصل لأنواع التعليقات غير الدقيقة التي تقدمها قسط نحوي (Grammarly Premium) ، (٣) التحقيق في كيفية تعامل الطلبة مع عدم دقتهم.

استخدمت الباحثة منهجا نوعيا. وأسلوب جمع البيانات باستخدام الاستبانة والمقابلة شبه المنظمة والتوثيق. كان موضوعات في هذا البحث الجامعي من الطلبة المتخصصين في قسم اللغة الإنجليزية بجامعة مولانا مالك إبراهيم الإسلامية الحكومية مالانج العام ٢٠١٨ ، ٢٠١٧ الذين كانوا يكتبون أو أكملوا البحث الجامعي. وإعطاء استبانة إلى ٢٢ طلاب، وأجريت مقابلات مع ٥ طلاب بشكل عشوائي، وثم إجراء التوثيق على ٣ طلاب. يتم تنفيذ طريقة تحليل البيانات عن طريق التحليل الوصفي(الترميز وتقليل البيانات والعرض البيانات والاستخلاص الاستنتاجات).

أظهرت نتائج هذا ابحث الجامعي أن: (١) لدى الطلبة تصور إيجابي وسلبي لاستخدام قسط النحو (Grammarly Premium). يشعرون أنهم يساعدون من خلال ميزة "الصواب" التي يمكن أن تحسن الإملاء والقواعد النحوية وعلامات الترقيم والاتفاقية والمقالة والاتساق. ميزاة "الوضوح" لتحسين إمكانية القراءة، مثل الإيجاز والصوت السلبي. ميزة "المشاركة" لإنشاء كتابة متنوعة وميزة "التسليم" لنقل النغمة بشكل مناسب. من ناحية أخرى ، يشكو الطلبة من أن قسط النحو (Grammarly Premium) يجب أن يكون لديه الاتصال الإنترنت مستقر للعمل ويتطلب تصحيحا إضافيا بسبب بعض التعليقات المضللة. (٢) تحدث التغذية الراجعة المضللة بشكل عام في الصواب (الاصطلاح والإملاء وعلامات الترقيم والمقالة والاتساق) والوضوح (الصوت السلبي والإيجاز) والمشاركة (التنوع). (٣) يستجيب الطلبة من خلال إعادة التصحيح والتأكد من أنها تناسب سياق كتاباتهم