Chatbot Informasi Akademik Teknik Informatika UIN Maulana Malik Ibrahim Malang berbasis Retrieval Augmented Generation (RAG)

INDONESIA:

Aksesibilitas informasi akademik merupakan tantangan di institusi pendidikan tinggi karena mahasiswa kesulitan menemukan informasi terkini mengenai kurikulum, dosen, dan kebijakan akademik yang tersebar di berbagai platform. Penelitian ini bertujuan merancang dan mengimplementasikan sistem chatbot berbasis Retrieval-Augmented Generation (RAG) untuk layanan informasi akademik Prodi Teknik Informatika UIN Malang, serta menganalisis kinerjanya dalam memberikan respons akurat dan kontekstual. Metode penelitian menggunakan pendekatan Research and Development dengan tahapan: pengumpulan data melalui ekstraksi otomatis 350 halaman menghasilkan 384 potongan dokumen, pembangunan sistem pencarian gabungan FAISS dan BM25, implementasi pembangkit jawaban menggunakan TinyLlama 1.1B, serta evaluasi menggunakan 60 pertanyaan dengan ukuran kinerja pencarian dan pembangkitan jawaban. Hasil menunjukkan pencarian mencatat nilai kualitas peringkat 0.258 dan tingkat penemuan 1.028 dengan kinerja terbaik pada pertanyaan acak (0.68), sedangkan pembangkit jawaban mencatat kemiripan semantik 0.381 dan kesetiaan dokumen 0.549 dengan kinerja optimal pada pertanyaan 5+ kata (0.472). Pengujian konsistensi dengan mengulang pertanyaan sama 5 kali menghasilkan variasi nol, memvalidasi mekanisme pengaman berhasil mengatasi ketidakkonsistenan. Keterbatasan meliputi pengulangan kalimat dan kebocoran template yang dimitigasi melalui penyaringan pasca-pemrosesan. Sistem beroperasi mandiri dengan sumber daya minimal, membuktikan kelayakan penerapan di institusi pendidikan dengan anggaran terbatas.

ENGLISH:

Academic information accessibility poses a challenge in higher education institutions as students struggle to find up-to-date information regarding curriculum, faculty, and academic policies scattered across various platforms. This research aims to design and implement a Retrieval-Augmented Generation (RAG) based chatbot system for academic information services at the Informatics Engineering Study Program UIN Malang, and to analyze its performance in delivering accurate and contextual responses. The research employs a Research and Development approach with stages: data collection through automatic extraction of 350 pages yielding 384 document chunks, construction of hybrid retrieval system using FAISS and BM25, generation implementation using TinyLlama 1.1B, and evaluation using 60 queries with retrieval and generation performance metrics. Results show retrieval achieved ranking quality of 0.258 and discovery rate of 1.028 with optimal performance on scrambled queries (0.68), while generation recorded semantic similarity of 0.381 and document faithfulness of 0.549 with optimal performance on 5+ word queries (0.472). Consistency testing with 5 repetitions of the same query yielded zero variation, validating that guardrail mechanisms successfully addressed inconsistencies. Limitations include sentence repetitions and template leakage mitigated through post-processing filtering. The system operates self-hosted with minimal resources, proving deployment feasibility in educational institutions with limited budgets.

مستخلص البحث:

تثل إمكانية الوصول إىل املعلومات األكادميية حتدالطالب صعوابت يف العثور على املعلومات احلديثة املتعلقة ابملناهج الدراسية وأعضاء هيئة التدريس والسياسات األكادميية املتناثرة عرب منصات خمتلفة. يهدف هذا البحث إىل تصميم وتنفيذ نظام "روبوت الدردشة" (Chatbot) القائم على تقنية التوليد املعزز ابالسرتجاع (RAG) خلدمات املعلومات األكادميية يف قسم هندسة املعلوماتية جبامعة موالان مالك إبراهيم مباالنج، ابإلضافة إىل حتليل أدائه يف تقدمي استجاابت دقيقة وسياقية. تستخدم هذه الدراسة منهج البحث والتطوير (R&D) عرب مراحل متعددة: مجع البياانت من خالل االستخراج التلقائي لـ350صفحة مما أنتج384جزءاا من الواثئق، وبناء نظام اسرتجاع هجني جيمع بني FAISS و BM25، وتنفيذ التوليد ابستخدام منوذج TinyLlama 1.1B ، وأخرياا التقييم ابستخدام60استعالماا مع مقاييس أداء االسرتجاع والتوليد. أظهرت النتائج أن عملية االسرتجاع سجلت جودة ترتيب (Ranking Quality) بلغت0.258 ومعدل اكتشاف (Discovery Rate) بلغ1.028مع أداء أفضل يف االستعالمات العشوائية(0.68). بينما سجل التوليد تشاهباا داللياا (Semantic Similarity) بنسبة0.381وموثوقية الواثئق (Document Faithfulness) بنسبة0.549، مع أداء أمثل يف االستعالمات اليت تزيد عن5كلمات(0.472). أثبت اختبار االتساق بتكرار نفس السؤال 5كد جناح آليات احلماية يف معاجلة عدم االتساق. وتشمل القيود تكرار اجلمل وتسربمرات عدم وجود أي تباين، مما يؤ القوالب اليت مت التخفيف من حدهتا من خالل التصفية بعد املعاجلة. يعمل النظام بشكل مستقل (Self-hosted) مبوارد قليلة، مما يثبتجدوى تطبيقه يف املؤسسات التعليمية ذات امليزانيات احملدودة .