Optimalisasi Chatbot berbasis TinyLLaMA dengan Fine-Tuning LoRA pada sistem layanan agensi property

INDONESIA :

Penelitian ini berangkat dari dua permasalahan utama pada layanan agensi properti. Pertama, sistem konvensional yang mengandalkan interaksi manual dan agen manusia memiliki keterbatasan dalam kecepatan respons dan ketersediaan layanan. keterbatasan model LLM dalam memberikan respons yang sesuai domain, personal, dan efisien dalam konteks properti berbahasa Indonesia, sehingga menyebabkan kesenjangan layanan antara kebutuhan pelanggan modern dengan sistem konvensional.Penelitian bertujuan mengadaptasi model TinyLLaMA-1.1B-Chat-v1.0 menjadi chatbot konsultan properti berbahasa Indonesia melalui fine-tuning LoRA, serta menganalisis pengaruh variasi nilai rank terhadap kualitas respons. Dataset sintetis sebanyak 3024 pasang instruction-output dihasilkan dengan metode Template-Based Data Generation mencakup tujuh intent, yang telah melalui validasi oleh lima responden dari bidang properti. Proses fine-tuning dilakukan pada tiga skenario nilai LoRA Rank (r=8, r=16, r=32) dengan LoRA Alpha (α=2r) masing-masing 16, 32, dan 64, serta parameter lain dikontrol identik. Hasil evaluasi dengan BLEU-4 menunjukkan skor tertinggi 14.54 dicapai Skenario 3 (r=32), hanya berbeda 0.05 poin dari Skenario 2 (r=16) yang memperoleh 14.49, sementara Skenario 1 (r=8) memperoleh 12.76. Uji implementasi terhadap 45 responden menunjukkan keempat variabel pengukuran berada pada kategori Cukup dengan rata-rata 2.80–2.87, dengan kepuasan terhadap chatbot dan agen manusia setara (2.80). Penelitian ini menyimpulkan bahwa fine-tuning LoRA mampu mengadaptasi TinyLLaMA ke domain properti Indonesia, namun belum mencapai hasil optimal mengingat skor BLEU-4 yang rendah dan tingkat kepuasan yang hanya kategori Cukup. Peningkatan rank di atas r=16 juga tidak memberikan perbaikan substansial terhadap kesesuaian tekstual.

ENGLISH :

This research stems from two main problems in property agency services. First, conventional systems that rely on manual interaction and human agents have limitations in response speed and service availability. Second, large language models (LLMs) face limitations in delivering responses that are domain-relevant, personalized, and efficient within the context of the Indonesian language property sector, thereby creating a service gap between modern customer needs and conventional systems. This study aims to adapt the TinyLLaMA-1.1B-Chat-v1.0 model into an Indonesian-language property consultant chatbot through LoRA fine-tuning, and to analyze the effect of rank variations on response quality. A synthetic dataset of 3024 instruction-output pairs was generated using the Template-Based Data Generation method covering seven intents, which was validated by five respondents from the property sector. Fine-tuning was conducted across three scenarios with LoRA Rank values (r=8, r=16, r=32) and LoRA Alpha (α=2r) of 16, 32, and 64 respectively, while other parameters were controlled identically. BLEU-4 evaluation results showed the highest score of 14.54 achieved by Scenario 3 (r=32), only 0.05 points higher than Scenario 2 (r=16) which scored 14.49, while Scenario 1 (r=8) scored 12.76. The implementation test on 45 respondents showed that all four measured variables fell into the "Sufficient" category, with averages ranging from 2.80 to 2.87, while satisfaction with the chatbot and human agents was equal (2.80). This study concludes that LoRA finetuning is able to adapt TinyLLaMA to the Indonesian property domain, although it has not yet achieved optimal results given the low-to-moderate BLEU-4 scores and satisfaction levels that only reached the "Sufficient" category. Increasing the rank beyond r=16 also did not yield a substantial improvement in textual alignment.

ARABIC :

ينطلق هذا البحث من مشكلتني رئيسيتني يف خدمات الوكاالت العقارية. تتمثل األوىل أن األنظمة التقليدية اليت تعتمد على التفاعل اليدوي والوكالء البشريني تعاين من حمدودية سرعة االستجابة وتوافر اخلدمة. أما الثانية فتتمثل يف حمدودية مناذج اللغات الكبرية (LLMs (الة يف سياق العقارات ابللغة اإلندونيسية، مما يؤدي ّ يف تقدمي استجاابت مالئمة للمجال العقاري، وشخصية، وفع إىل وجود فجوة خدمية بني احتياجات العمالء املعاصرين واألنظمة التقليدية. ويهدف هذا البحث إىل تكييف منوذج ّ 1.0v-Chat-B-1.1TinyLLaMA يف جمال العقارات ابللغة اإلندونيسية من خالل تكييف الدقيق لتصبح دردشة آلية استشارّي ، فضاال (Rank (يف جودة االستجاابت. نت جمموعة البياانت االصطناعية من بتقنية LoRA عن حتليل أثر تنوع قيم الرتبة ّ تكو ا 3024 ا من تعليمات املخرجات، وقد أنشئت ابستخدام أسلوب توليد البياانت املعتمد على ا زوج لنماذج ، ومشلت سبعة أنواع من املقاصد (Intents(، كما خضعت ملراجعة من قبل مخسة مشاركني من الوكاالت العقارية. وأجريت عملية تكييف الدقيق يف ثالثة سيناريوهات خمتلفة لقيم رتبة LoRA، وهي (8=r (و (16=r(و(32=r(، مع ضبط قيمة Alpha LoRA) r2=α (لتكون 16و32 و64 على التوايل، مع تثبيت بقية املعلمات. وأظهرت نتائج التقييم ابستخدام مقياس -4BLEU أن أفضل نتيجة بلغت 14.54 قد حتققت يف السيناريو الثالث (32=r(، بفارق قدره 0.05 نقطة فقط عن السيناريو الثاين (16=r (الذي حقق نتيجة مشاراك قدرها ،14.49 يف حني حقق السيناريو األول(8=r (نتيجة بلغت .12.76 كما أظهر جتربة التطبيق الذي مشل 45 ا أن املتغريات األربعة املقاسة مجيعها وقعت ضمن فئة مقبول، مبتوسط تراوح بني 2.80 و،2.87 مع تساوي مستوى الرضا بني دردشة آلية والوكيل البشري مبتوسط قدره (2.80). وخيلص البحث إىل أن تكييف الدقيق بتقنية LoRA قادر على منوذج TinyLLaMA ا الخنفاض قيمة ا مع الوكاالت العقارية يف إندونيسيا، إال أن النتائج ما زالت دون املستوى املأمول، نظر -4BLEU واقتصار مستوى ِّ رضا املستخدمني على فئة مقبول. كما أن زّيدة قيمة الرتبة إىل ما فوق (16=r (إىل حتسن جوهري يف مستوى التوافق النصي ّ مل تؤد