Model Framework Evaluasi Usability Terintegrasi Menggunakan USE, RMT, IPA (Studi Kasus Siakad Berbasis Web)

Indonesia:

Penelitian ini bertujuan untuk mengevaluasi tingkat usability Sistem Informasi Akademik (SIAKAD) berbasis web di Universitas Islam Negeri Maulana Malik Ibrahim Malang melalui pendekatan terintegrasi yang menggabungkan USE Questionnaire, Rasch Measurement Theory (RMT), dan Importance Performance Analysis (IPA). Pendekatan USE digunakan untuk mengukur empat dimensi utama, yaitu utilitas, kemudahan penggunaan, kepuasan pengguna, dan kemudahan pembelajaran, guna memperoleh gambaran komprehensif mengenai pengalaman pengguna. Selanjutnya, validitas dan reliabilitas instrumen diuji menggunakan RMT dengan model Rating Scale Model (RSM), di mana Maximum Marginal Likelihood Estimation (MMLE) berperan dalam mengestimasi parameter item dan kemampuan responden, Gauss-Hermite Quadrature digunakan untuk mendekati integral dalam perhitungan likelihood, Posterior Probability dimanfaatkan untuk mengestimasi distribusi kemampuan laten responden, serta Fit Statistics digunakan untuk mengidentifikasi kesesuaian item dan responden terhadap model. Hasil pengukuran kemudian dianalisis menggunakan IPA untuk memetakan hubungan antara tingkat kepentingan dan kinerja atribut sistem. Berdasarkan hasil analisis, tingkat usability SIAKAD berada pada kategori cukup baik, namun masih memerlukan optimalisasi pada beberapa atribut prioritas, dengan distribusi 12 item pada Kuadran I, 2 item pada Kuadran II, 13 item pada Kuadran III, dan 3 item pada Kuadran IV, yang menunjukkan adanya kesenjangan antara kepentingan dan kinerja, khususnya pada aspek utilitas dan kemudahan penggunaan. Hasil validasi RMT menunjukkan bahwa seluruh item kuesioner memiliki tingkat kesesuaian yang baik tanpa adanya item misfit, meskipun terdapat 5 responden yang dikeluarkan karena tidak memenuhi kriteria fit masing-masing sebesar (1,76;1,75), (2,13;2,08), (1,60;1,60), (2,17;2,16), dan (1,91;1,90). Secara keseluruhan, integrasi USE, RMT, dan IPA terbukti mampu menghasilkan evaluasi usability yang valid, reliabel, dan berbasis data, serta memberikan dasar yang kuat dalam penyusunan rekomendasi perbaikan sistem.

English:
This study aims to evaluate the usability level of the web-based Academic Information System (SIAKAD) at Maulana Malik Ibrahim State Islamic University of Malang through an integrated approach combining the USE Questionnaire, Rasch Measurement Theory (RMT), and Importance Performance Analysis (IPA). The USE approach is employed to measure four main dimensions, namely usefulness, ease of use, user satisfaction, and ease of learning, in order to obtain a comprehensive understanding of user experience. Furthermore, the validity and reliability of the instrument are tested using RMT with the Rating Scale Model (RSM), in which Maximum Marginal Likelihood Estimation (MMLE) is used to estimate item parameters and respondent abilities, Gauss-Hermite Quadrature is applied to approximate integrals in likelihood calculations, Posterior Probability is utilized to estimate the distribution of respondents’ latent abilities, and Fit Statistics are used to identify the conformity of items and respondents to the model. The measurement results are then analyzed using IPA to map the relationship between the importance and performance levels of system attributes. Based on the analysis, the usability level of SIAKAD is categorized as fairly good; however, optimization is still required for several priority attributes, with a distribution of 12 items in Quadrant I, 2 items in Quadrant II, 13 items in Quadrant III, and 3 items in Quadrant IV, indicating a gap between importance and performance, particularly in the aspects of usefulness and ease of use. The RMT validation results show that all questionnaire items demonstrate good fit with no misfitting items, although 5 respondents were excluded for not meeting the fit criteria, with respective values of (1,76;1,75), (2,13;2,08), (1,60;1,60), (2,17;2,16), and (1,91;1,90). Overall, the integration of USE, RMT, and IPA is proven to produce a valid, reliable, and data-driven usability evaluation, while also providing a strong foundation for formulating system improvement recommendations.

Arabic:
تهدف هذه الدراسة إلى تقييم مستوى قابلية الاستخدام لنظام المعلومات الأكاديمي القائم على الويب (SIAKAD) في جامعة مولانا مالك إبراهيم الإسلامية الحكومية في مالانغ من خلال نهج متكامل يجمع بين استبيان USE ونظرية القياس لراش (RMT) وتحليل الأهمية والأداء (IPA). تم استخدام منهج USE لقياس أربعة أبعاد رئيسية، وهي الفائدة، وسهولة الاستخدام، ورضا المستخدم، وسهولة التعلم، بهدف الحصول على فهم شامل لتجربة المستخدم. علاوة على ذلك، تم اختبار صلاحية وموثوقية الأداة باستخدام نظرية راش من خلال نموذج مقياس التقييم (RSM)، حيث تم استخدام تقدير الاحتمالية العظمى الهامشية (MMLE) لتقدير معلمات البنود وقدرات المستجيبين، كما تم تطبيق تكامل غاوس-هيرميت لتقريب التكاملات في حسابات الاحتمالية، واستخدام الاحتمال اللاحق لتقدير توزيع القدرات الكامنة للمستجيبين، واستخدام إحصاءات المطابقة لتحديد مدى توافق البنود والمستجيبين مع النموذج. بعد ذلك، تم تحليل نتائج القياس باستخدام تحليل الأهمية والأداء لرسم العلاقة بين مستوى الأهمية ومستوى الأداء لخصائص النظام. وبناءً على نتائج التحليل، تم تصنيف مستوى قابلية الاستخدام لنظام SIAKAD على أنه جيد إلى حد ما؛ إلا أنه لا يزال يتطلب تحسينًا في بعض الخصائص ذات الأولوية، حيث توزعت البنود إلى 12 بندًا في الربع الأول، وبندين في الربع الثاني، و13 بندًا في الربع الثالث، و3 بنود في الربع الرابع، مما يشير إلى وجود فجوة بين الأهمية والأداء، خاصة في جانبي الفائدة وسهولة الاستخدام. وأظهرت نتائج التحقق باستخدام نظرية راش أن جميع بنود الاستبيان تتمتع بدرجة توافق جيدة دون وجود بنود غير ملائمة، على الرغم من استبعاد 5 مستجيبين لعدم استيفائهم معايير المطابقة، بالقيم التالية: (1,76؛1,75)، (2,13؛2,08)، (1,60؛1,60)، (2,17؛2,16)، و(1,91؛1,90). وبشكل عام، أثبت دمج منهجيات USE وRMT وIPA قدرته على إنتاج تقييم لقابلية الاستخدام يتمتع بالصدق والموثوقية ويستند إلى البيانات، مع توفير أساس قوي لصياغة توصيات تحسين النظام.