Implementasi dan evaluasi model T5 (Text-To-Text Transfer Transformer) untuk title generator artikel ilmiah berdasarkan abstrak

Abstrak Indo :
Penyusunan judul artikel ilmiah yang representatif dan menarik merupakan tantangan krusial karena seringkali memakan waktu dan bersifat subjektif, yang dapat menurunkan visibilitas karya ilmiah. Untuk mengatasinya, penelitian ini mengimplementasikan dan mengevaluasi model T5-small untuk menghasilkan judul secara otomatis berdasarkan abstrak, menggunakan 5.000 data artikel COVID-19 dari PubMed. Model dilatih dan dioptimalkan melalui hyperparameter tuning untuk menemukan konfigurasi terbaik. Hasil evaluasi dengan konfigurasi terbaik (epoch 6, batch size 4) menunjukkan pencapaian skor F1-score ROUGE-1 sebesar 0.413, ROUGE-2 0.217, dan ROUGE-L 0.345. Analisis kualitatif mengungkapkan bahwa skor ROUGE yang tinggi tidak selalu berkorelasi dengan kualitas gramatikal, di mana beberapa judul terpotong. Sebaliknya, judul yang baik secara semantik terkadang menerima skor rendah. Dari 50 sampel, 56% judul dinilai valid. Secara keseluruhan, penelitian ini menunjukkan model T5-small merupakan pendekatan yang efektif dan efisien untuk pembuatan judul otomatis yang mampu bersaing dengan arsitektur lebih besar.

Abstrak Inggris :
Crafting representative and engaging scientific article titles is a crucial challenge as it is often time-consuming and subjective, which can decrease the visibility of a scientific work. To address this, this research implements and evaluates the T5-small model to automatically generate titles from abstracts, using 5,000 COVID-19 article data from PubMed. The model was trained and optimized through hyperparameter tuning to find the best configuration. The evaluation with the best configuration (6 epochs, batch size 4) achieved F1-scores of 0.413 for ROUGE-1, 0.217 for ROUGE-2, and 0.345 for ROUGE-L. Qualitative analysis reveals that high ROUGE scores do not always correlate with grammatical quality, with some titles being truncated. Conversely, semantically good titles sometimes received low scores. Out of 50 samples, 56% of the titles were deemed valid. Overall, this study demonstrates that the T5-small model is an effective and efficient approach for automatic title generation, capable of competing with larger architectures.

Abstrak Arab:
يعد توليد عناوين تمثيلية وجذابة للمقالات العلمية تحديًا حاسمًا لأنه غالبًا ما يستغرق وقتًا طويلاً وغير موضوعي، مما قد يقلل من ظهور الأوراق العلمية. ولمعالجة هذا الأمر، تقوم هذه الدراسة بتطبيق وتقييم نموذج T5-small لتوليد العناوين تلقائيًا استنادًا إلى الملخصات، باستخدام 5000 مقالة عن كوفيد-19 من PubMed. وقد تم تدريب النموذج وتحسينه من خلال ضبط المعلمة الفائقة للعثور على أفضل تكوين. أظهرت نتائج التقييم بأفضل تكوين (الحلقة 6، حجم الدُفعة 4) تحقيق درجة F1 ROUGE-1 البالغة 0.413، و ROUGE-2 البالغة 0.217، وROUGE-L البالغة 0.345. كشف التحليل النوعي أن درجات ROUGE المرتفعة لا ترتبط بالضرورة بالجودة النحوية، حيث كانت بعض العناوين مبتورة. وعلى العكس من ذلك، حصلت العناوين الجيدة من الناحية الدلالية في بعض الأحيان على درجات منخفضة. من بين 50 عينة، تم تصنيف 56% من العناوين على أنها صالحة. بشكل عام، تُظهر هذه الدراسة أن نموذج T5-small هو نهج فعال وكفء لتوليد العناوين التلقائي الذي يمكن أن ينافس البنى الأكبر..