Klasifikasi intent pada chatbot menggunakan metode Query Expansion dan Neural Network

INDONESIA:

Chatbot dapat didefinisikan sebagai sebuah program komputer ataupun ponsel pintar yang dirancang untuk memahami satu atau lebih bahasa manusia dengan pemrosesan bahasa alami dan mensimulasikan percakapan dengan pengguna (manusia) untuk memfasilitasi pekerjaan manusia. Untuk mensimulasikan percakapan dengan pengguna dalam chatbot, maksud atau keinginan (intent) dari pengguna perlu diklasifikasikan dengan baik agar sistem dapat memberikan jawaban yang sesuai. Penelitian ini dilakukan untuk mengklasifikasikan intent pada chatbot dengan menggunakan Query Expansion dan Neural Network. Query Expansion digunakan untuk memperluas masukan pengguna dengan kata tambahan untuk dicocokkan dengan pola intent yang dituju. Neural Network dipilih sebagai metode penelitian karena dapat membuat model dengan mudah digunakan dan lebih akurat dari sistem alami kompleks lainnya dengan input besar. Uji coba dalam penelitian ini dilaksanakan 2 kali yaitu uji coba menggunakan Neural Network dengan dan tanpa Query Expansion dengan dilatih menggunakan 548 kalimat masukan pada training set dan diuji menggunakan 137 kalimat masukan pada test set yang sama. Hasil dari sistem klasifikasi intent pada chatbot menggunakan Neural Network dengan Query Expansion memiliki nilai akurasi sebesar 44,52% dan nilai presisi sebesar 43,67%. Sedangkan untuk sistem klasifikasi intent pada chatbot tanpa menggunakan Query Expansion, nilai akurasi sebesar 10,94% dan nilai presisi sebesar 15,71%.
Peningkatan yang dihasilkan dari uji coba klasifikasi intent pada chatbot menggunakan Neural Network tanpa Query Expansion dan dengan menggunakan Query Expansion adalah peningkatan nilai akurasi sebesar 33,58% dan peningkatan nilai presisi sebesar 27,96%. Untuk rata-rata waktu yang diperlukan (average time consumption) oleh Mesin Virtual Google Cloud Compute dalam melakukan klasifikasi intent dari setiap kalimat masukan menggunakan metode Neural Network dengan Query Expansion dan Neural Network tanpa Query Expansion adalah 2,23 detik dan 1,35 detik.

ENGLISH:

A chatbot can be defined as a computer or smartphone program designed to understand one or more human languages by natural language processing and simulating conversations with users (humans) to facilitate human work. In order to have a conversation with a user, the intent of the user needs to be classified properly so that the system can provide the correct answer. This research was conducted to classify intents in chatbots using Query Expansion and Neural Networks. Query Expansion is used to expand user input with additional words to match the target intent pattern. Neural Network was chosen as the research method since it can make models easier to use and more accurate than other complex natural systems with large inputs. In this research, 2 types of experimental scenarios were used; using a Neural Network with Query Expansion and a Neural Network without Query Expansion which were trained and tested using the same data, 548 input sentences for training and 137 input sentences for testing. The results of the classification using Neural Network with Query Expansion have an accuracy value of 44,52% and a precision value of 43,67%. Meanwhile, the accuracy of classification using Neural Network without Query Expansion has an accuracy value of 10,94% and a precision value of 15,71%. The result shows that the addition of the Query Expansion method is able to improve the accuracy and precision value of 33,58% and 27,96%. For the average time consumption by Google Compute Engine’s Virtual Machine in the process of classifying the intent of each input sentence using the Neural Network method with Query Expansion is 2.23 seconds. Meanwhile, the average time consumption by Google Compute Engine’s Virtual Machine in the process of classifying the intent of each input sentence using a Neural Network without Query Expansion is 1.35 seconds.

ARABIC:

Chatbot يمكن تعريفه على أنه برنامج كمبيوتر أو هاتف ذكي مصمم لفهم لغة بشرية أو أكثر من خلال معالجة اللغة الطبيعية ومحاكاة المحادثات مع المستخدمين (البشريين) لتسهيل العمل البشري. لمحاكاة محادثة مع إستخدم في Chatbot ، مقصود أو نية Intent يجب تصنيف المستخدم بشكل الصحيح من أجل أن يقدم النظام إجابة مناسبة. هذا البحث أن يعمل لتصنيف intent على chatbot باستخدام Query Expansion و Neural Network. إستخدامQuery Expansion لتوسيع إدخال المستخدم مع الكلمات الإضافية لمطابقة intent المقصود. يستخدام Neural Network لطريقة البحث، لأنه أن يجعل النموذج السهل و دقّة من الأنظمة الطييعية المعقدة الأخرى بمدخل الكبير. يعمل التجريب في هذا البحث مرتين التجارب باستخدام Neural Network ب Query Expansion و Neural Network دون Query Expansion من خلال تدريبهم باستخدام 548 الإدخال جمل في نفس مجموع التدريب و اختباره باستخدام 137 الإدخل جمل نفس مجموع الإختبار. نتيجة لنظام تصنيف Intent في Chatbot باستخدام Neural Network مع Query Expansion لديه قيمة دقة %44,52 وقيمة دقيقة من %43,67. أما بالنسبة لنظام Intent في Chatbot دون استخدام Query Expansion ، فإن قيمة الدقة هي 10.94% وقيمة الدقة هي 15.71%. وكان التحسن الناتج عن تجربة Intent على Chatbot باستخدام Neural Network دون Query Expansion وباستخدام Query Expansionزيادة بنسبة %33,58 في قيمة الدقة وزيادة بنسبة %27,96 في قيمة الدقة. لمتوسط الوقت المستخدم في عملية التصنيف Intent لكل جملة إدخال باستخدام الطريقة Query Expansion و Neural Network هو 2.23 ثانية. بالنسبة لمتوسط الوقت المستخدم في عملية التصنيف لكل جملة إدخال باستخدام الطريقة Neural Network مع Query Expansion 1.35 ثانية