Penerapan metode Transfer Learning dengan arsitektur ResNet-50 untuk navigasi robot beroda berbasis visi komputer

INDONESIA:

Metode kendali robot konvensional berbasis kontak fisik telah banyak digunakan, namun kini dihadapkan pada tantangan dinamika kebutuhan operasional yang terus berkembang. Oleh karena itu, diperlukan sebuah alternatif baru yang dirancang untuk menawarkan kepraktisan dan fleksibilitas gerak yang lebih baik bagi penggunanya. Penelitian ini bertujuan mengembangkan sistem navigasi robot beroda nirkontak yang mampu mengenali gestur tangan menggunakan metode Transfer Learning pada arsitektur ResNet-50. Model dilatih menggunakan 8.756 citra dari dataset HaGRID ke dalam lima kelas gestur yaitu kepalan tangan, acungan jempol, isyarat dua jari, bentuk jari OK, dan telapak tangan terbuka. Hasil pengujian menunjukkan performa klasifikasi yang sangat baik dengan akurasi test set 91,10%, mean AUC 0,9918, dan gap overfitting yang rendah yaitu 4,50%. Pada tahap deployment, pengujian di lingkungan laptop sangat responsif dengan waktu eksekusi 50,15 ms. Saat diimplementasikan pada perangkat edge, penggunaan perangkat final Raspberry Pi 4 Model B (RAM 4 GB) dengan model presisi penuh (FP32) mencatatkan waktu eksekusi 385,39 ms, memangkas waktu inferensi secara signifikan dibandingkan Raspberry Pi 3 Model B (2.984,84 ms). Pengujian fungsionalitas (black box testing) menunjukkan tingkat keberhasilan operasional 74,3%, dan meningkat hingga 87,6% pada penggunaan orientasi tangan wajar (tanpa kemiringan vertikal ekstrem). Kesimpulannya, metode Transfer Learning pada arsitektur ResNet-50 terbukti handal untuk klasifikasi gestur navigasi robot.

ENGLISH:

Conventional robot control methods based on physical contact have been widely used, but are now faced with the challenge of ever-evolving operational requirements. Therefore, a new alternative is required, designed to offer greater practicality and flexibility of movement for its users. This research aims to develop a contactless wheeled robot navigation system capable of recognising hand gestures using the Transfer Learning method on the ResNet-50 architecture. The model was trained using 8,756 images from the HaGRID dataset across five gesture classes: a clenched fist, a thumbs-up, a two-finger signal, an 'OK' sign, and an open palm. Test results demonstrate excellent classification performance, with a test set accuracy of 91.10%, a mean AUC of 0.9918, and a low overfitting gap of 4.50%. During the deployment phase, testing on a laptop proved highly responsive, with an execution time of 50.15 ms. When implemented on an edge device, the final Raspberry Pi 4 Model B (4 GB RAM) running the full-precision (FP32) model recorded an execution time of 385.39 ms, significantly reducing inference time compared to the Raspberry Pi 3 Model B (2,984.84 ms). Functionality testing (black-box testing) showed an operational success rate of 74.3 per cent, rising to 87.6 per cent when using natural hand orientation (without extreme vertical tilt). In conclusion, the Transfer Learning method on the ResNet-50 architecture proved reliable for classifying robot navigation gestures.

ARABIC:

ﻟﻘﺪ ﺍﺳﺘﺨُﺪﻣﺖ ﻃﺮﻕ ﺍﻟﺘﺤﻜﻢ ﺍﻟﺘﻘﻠﻴﺪﻳﺔ ﻓﻲ ﺍﻟﺮﻭﺑﻮﺗﺎﺕ ﺍﻟﻘﺎﺋﻤﺔ ﻋﻠﻰ ﺍﻟﺘﻼﻣﺲ ﺍﻟﻤﺎﺩﻱ ﻋﻠﻰ ﻧﻄﺎﻕ ﻭﺍﺳﻊ، ﻟﻜﻨﻬﺎ ﺗﻮﺍﺟﻪ ﺣﺎﻟﻴﺎً ﺗﺤﺪﻳﺎﺕ ﻧﺎﺟﻤﺔ ﻋﻦ ﺩﻳﻨﺎﻣﻴﻜﻴﺎﺕ ﺍﻻﺣﺘﻴﺎﺟﺎﺕ ﺍﻟﺘﺸﻐﻴﻠﻴﺔ ﺍﻟﻤﺘﻄﻮﺭﺓ ﺑﺎﺳﺘﻤﺮﺍﺭ. ﻭﻟﺬﻟﻚ، ﻫﻨﺎﻙ ﺣﺎﺟﺔ ﺇﻟﻰ ﺑﺪﻳﻞ ﺟﺪﻳﺪ ﻣﺼﻤﻢ ﻟﺘﻮﻓﻴﺮ ﻣﺰﻳﺪ ﻣﻦ ﺍﻟﻌﻤﻼﻧﻴﺔ ﻭﻣﺮﻭﻧﺔ ﺍﻟﺤﺮﻛﺔ ﻟﻠﻤﺴﺘﺨﺪﻣﻴﻦ. ﻳﻬﺪﻑ ﻫﺬﺍ ﺍﻟﺒﺤﺚ ﺇﻟﻰ ﺗﻄﻮﻳﺮ ﻧﻈﺎﻡ ﻣﻼﺣﺔ ﻟﺮﻭﺑﻮﺕ ﺫﻱ ﻋﺠﻼﺕ ﺑﺪﻭﻥ ﺗﻼﻣﺲ ﻗﺎﺩﺭ ﻋﻠﻰ ﺍﻟﺘﻌﺮﻑ ﻋﻠﻰ ﺇﻳﻤﺎﺀﺍﺕ ﺍﻟﻴﺪ ﺑﺎﺳﺘﺨﺪﺍﻡ ﻃﺮﻳﻘﺔ ﺍﻟﺘﻌﻠﻢ ﺍﻟﻨﻘﻠﻲ Transfer) (Learning ﻋﻠﻰ ﺑﻨﻴﺔ .ResNet-50 ﺗﻢ ﺗﺪﺭﻳﺐ ﺍﻟﻨﻤﻮﺫﺝ ﺑﺎﺳﺘﺨﺪﺍﻡ 8,756 ﺻﻮﺭﺓ ﻣﻦ ﻣﺠﻤﻮﻋﺔ ﺑﻴﺎﻧﺎﺕ HaGRID ﻋﻠﻰ ﺧﻤﺲ ﻓﺌﺎﺕ ﻣﻦ ﺍﻹﻳﻤﺎﺀﺍﺕ ﻭﻫﻲ: ﻗﺒﻀﺔ ﺍﻟﻴﺪ، ﻭﺇﺷﺎﺭﺓ ﺍﻹﺑﻬﺎﻡ، ﻭﺇﺷﺎﺭﺓ ﺍﻹﺻﺒﻌﻴﻦ، ﻭﺇﺷﺎﺭﺓ OK، ﻭﺭﺍﺣﺔ ﺍﻟﻴﺪ ﺍﻟﻤﻔﺘﻮﺣﺔ. ﺃﻇﻬﺮﺕ ﻧﺘﺎﺋﺞ ﺍﻻﺧﺘﺒﺎﺭ ﺃﺩﺍﺀً ﺗﺼﻨﻴﻔﻴﺎًّ ﻣﻤﺘﺎﺯﺍً، ﺣﻴﺚ ﺑﻠﻐﺖ ﺩﻗﺔ ﻣﺠﻤﻮﻋﺔ ﺍﻻﺧﺘﺒﺎﺭ 91,10٪، ﻭﻣﺘﻮﺳﻂ 0,9918 AUC، ﻭﻓﺠﻮﺓ ﺍﻟﺘﻜﻴﻒ ﺍﻟﻤﻔﺮﻁ ﻣﻨﺨﻔﻀﺔ ﻋﻨﺪ 4,50٪. ﻓﻲ ﻣﺮﺣﻠﺔ ﺍﻟﻨﺸﺮ، ﺃﻇﻬﺮ ﺍﻻﺧﺘﺒﺎﺭ ﻓﻲ ﺑﻴﺌﺔ ﺍﻟﻜﻤﺒﻴﻮﺗﺮ ﺍﻟﻤﺤﻤﻮﻝ ﺍﺳﺘﺠﺎﺑﺔً ﻋﺎﻟﻴﺔً ﻣﻊ ﺯﻣﻦ ﺗﻨﻔﻴﺬ ﻗﺪﺭﻩ 50,15 ﻣﻠﻠﻲ ﺛﺎﻧﻴﺔ. ﻭﻋﻨﺪ ﺍﻟﺘﻨﻔﻴﺬ ﻋﻠﻰ ﺃﺟﻬﺰﺓ ﺍﻟﺤﺎﻓﺔ، ﺳﺠﻞ ﺍﺳﺘﺨﺪﺍﻡ ﺍﻟﺠﻬﺎﺯ ﺍﻟﻨﻬﺎﺋﻲ B Model 4 Pi Raspberry )ﺫﺍﻛﺮﺓ ﺍﻟﻮﺻﻮﻝ ﺍﻟﻌﺸﻮﺍﺋﻲ 4 ﺟﻴﺠﺎﺑﺎﻳﺖ( ﻣﻊ ﻧﻤﻮﺫﺝ ﺍﻟﺪﻗﺔ ﺍﻟﻜﺎﻣﻠﺔ (FP32) ﻭﻗﺖ ﺗﻨﻔﻴﺬ ﻗﺪﺭﻩ 385,39 ﻣﻠﻠﻲ ﺛﺎﻧﻴﺔ، ﻣﻤﺎ ﺃﺩﻯ ﺇﻟﻰ ﺗﻘﻠﻴﺺ ﻭﻗﺖ ﺍﻻﺳﺘﺪﻻﻝ ﺑﺸﻜﻞ ﻛﺒﻴﺮ ﻣﻘﺎﺭﻧﺔً ﺑﺠﻬﺎﺯ )2.984,84 B Model 3 Pi Raspberry ﻣﻠﻠﻲ ﺛﺎﻧﻴﺔ.( ﺃﻇﻬﺮﺕ ﺍﺧﺘﺒﺎﺭﺍﺕ ﺍﻟﻮﻇﺎﺋﻒ )ﺍﺧﺘﺒﺎﺭ ﺍﻟﺼﻨﺪﻭﻕ ﺍﻷﺳﻮﺩ( ﻣﻌﺪﻝ ﻧﺠﺎﺡ ﺗﺸﻐﻴﻠﻲ ﺑﻠﻎ ٪74,3، ﻭﺍﺭﺗﻔﻊ ﻫﺬﺍ ﺍﻟﻤﻌﺪﻝ ﺇﻟﻰ ٪87,6 ﻋﻨﺪ ﺍﺳﺘﺨﺪﺍﻡ ﺍﺗﺠﺎﻩ ﺍﻟﻴﺪ ﺍﻟﻄﺒﻴﻌﻲ )ﺑﺪﻭﻥ ﻣﻴﻞ ﺭﺃﺳﻲ ﺷﺪﻳﺪ.( ﻭﺧﺘﺎﻣﺎً، ﺃﺛﺒﺘﺖ ﻃﺮﻳﻘﺔ »ﺍﻟﺘﻌﻠﻢ ﺑﺎﻟﻨﻘﻞ« Learning) (Transfer ﻓﻲ ﺑﻨﻴﺔ ResNet-50 ﻓﻌﺎﻟﻴﺘﻬﺎ ﻓﻲ ﺗﺼﻨﻴﻒ ﺇﻳﻤﺎﺀﺍﺕ ﺍﻟﺘﻨﻘﻞ ﻟﻠﺮﻭﺑﻮﺕ.