Arsitektur Hybrid Pengenalan Alfabet BISINDO Berbasis Web Real-Time Menggunakan MediaPipe Hands dan MLP
Abstract
Bahasa Isyarat Indonesia (BISINDO) digunakan luas oleh komunitas Tuli, namun media pembelajaran alfabet yang interaktif dan mudah diakses masih terbatas. Penelitian ini mengusulkan aplikasi web pembelajaran alfabet BISINDO yang mengenali gestur tangan secara real-time dengan pendekatan ringan berbasis hand landmark. Kebaruan penelitian terletak pada integrasi alur ekstraksi landmark MediaPipe Hands dan klasifikasi Multilayer Perceptron (MLP) yang dieksekusi sepenuhnya di browser menggunakan TensorFlow.js, serta augmentasi berbasis landmark untuk meningkatkan robustnes. Dataset citra alfabet A–Z diekstraksi menjadi 21 titik landmark (x, y, z), dinormalisasi terhadap wrist, diskalakan dengan jarak maksimum, dan dibentuk menjadi vektor fitur 126 dimensi dengan padding. Augmentasi meliputi horizontal flip, rotasi acak, dan Gaussian noise 0,02. Model MLP mencapai akurasi 97,77% pada data uji. Uji kegunaan menggunakan System Usability Scale (SUS) menghasilkan skor rata-rata 70,53 menunjukkan aplikasi cukup baik dan dapat digunakan sebagai media belajar mandiri.
References
A. Q. Mohammed, A., Gao, Y., Ji, Z., Lv, J., Sajjatul Islam, M., & Sang, Y. (2021). Automatic 3D Skeleton-based Dynamic Hand Gesture Recognition Using Multi-Layer Convolutional LSTM. 2021 7th International Conference on Robotics and Artificial Intelligence, 8–14. https://doi.org/10.1145/3505688.3505690
Anugerah, S., Ulfa, S., & Husna, A. (2020). Pengembangan Video Pembelajaran Bahasa Isyarat Indonesia (Bisindo) Untuk Siswa Tunarungu Di Sekolah Dasar. JINOTEP (Jurnal Inovasi dan Teknologi Pembelajaran): Kajian dan Riset Dalam Teknologi Pembelajaran, 7(2), 76–85. https://doi.org/10.17977/um031v7i22020p076
Asriandhini, B., & Rahmawati, C. H. (2021). BAHASA ISYARAT INDONESIA SEBAGAI KONSTRUKSI IDENTITAS DAN CITRA SOSIAL TULI DI PURWOKERTO. JRK (Jurnal Riset Komunikasi), 12(1). https://doi.org/10.31506/jrk.v12i1.10059
Barman, S., & Majumdar, S. (2025). Person-Independent Hand Gesture Recognition Using MediaPipe and Multi-layer Perceptron (hlm. 3–16). https://doi.org/10.1007/978-981-96-1348-9_1
Fajri, B. R., Samala, A. D., & Ranuharja, F. (2020). MEDIA INTERAKTIF PENGENALAN BAHASA ISYARAT BISINDO. Jurnal Teknologi Informasi dan Pendidikan, 13(1), 35–44. https://doi.org/10.24036/tip.v13i1.293
Gumelar, G., Hafiar, H., & Subekti, P. (2018). KONSTRUKSI MAKNA BISINDO SEBAGAI BUDAYA TULI BAGI ANGGOTA GERKATIN. INFORMASI, 48(1), 65. https://doi.org/10.21831/informasi.v48i1.17727
Hyzy, M., Bond, R., Mulvenna, M., Bai, L., Dix, A., Leigh, S., & Hunt, S. (2022). System Usability Scale Benchmarking for Digital Health Apps: Meta-analysis. JMIR mHealth and uHealth, 10(8), e37290. https://doi.org/10.2196/37290
Iqbal, M., Supriyati, E., & Listyorini, T. (2015a). IMPLEMETASI OFFLINE PENGENALAN SISTEM ISYARAT BAHASA INDONESIA MENGGUNAKAN METODE DYNAMIC TIME WARPING PADA PERANGKAT ANDROID. Simetris : Jurnal Teknik Mesin, Elektro dan Ilmu Komputer, 6(2), 391. https://doi.org/10.24176/simet.v6i2.477
Iqbal, M., Supriyati, E., & Listyorini, T. (2015b, Desember). Pengembangan Sarung Tangan Wireless Untuk Pengenalan Sistem Isyarat Bahasa Indonesia Berbasis Modul Bluetooth Hc-05.
Lewis, J. R. (2018). The System Usability Scale: Past, Present, and Future. International Journal of Human–Computer Interaction, 34(7), 577–590. https://doi.org/10.1080/10447318.2018.1455307
Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., Zhang, F., Chang, C.-L., Yong, M. G., Lee, J., Chang, W.-T., Hua, W., Georg, M., & Grundmann, M. (2019a). MediaPipe: A Framework for Building Perception Pipelines.
Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., Zhang, F., Chang, C.-L., Yong, M. G., Lee, J., Chang, W.-T., Hua, W., Georg, M., & Grundmann, M. (2019b). MediaPipe: A Framework for Building Perception Pipelines.
Nikolawatin, Z., Setyosari, P., & Ulfa, S. (2019). PENGEMBANGAN MEDIA TUTORIAL BAHASA ISYARAT UNTUK SISWA TUNARUNGU SLB BC KEPANJEN. JINOTEP (Jurnal Inovasi dan Teknologi Pembelajaran) Kajian dan Riset dalam Teknologi Pembelajaran, 6(1), 15–22. https://doi.org/10.17977/um031v6i12019p015
Reddi, S. J., Kale, S., & Kumar, S. (2019). On the Convergence of Adam and Beyond
.
Shorten, C., & Khoshgoftaar, T. M. (2019). A survey on Image Data Augmentation for Deep Learning. Journal of Big Data, 6(1), 60. https://doi.org/10.1186/s40537-019-0197-0
Sihananto, A. N., Al Haromainy, M. M., & Sari, A. P. (2023). PEMILAHAN JENIS SAMPAH MENGGUNAKAN ALGORITMA CNN. Scan : Jurnal Teknologi Informasi dan Komunikasi, 17(3). https://doi.org/10.33005/scan.v17i3.3523
Smilkov, D., Thorat, N., Assogba, Y., Yuan, A., Kreeger, N., Yu, P., Zhang, K., Cai, S., Nielsen, E., Soergel, D., Bileschi, S., Terry, M., Nicholson, C., Gupta, S. N., Sirajuddin, S., Sculley, D., Monga, R., Corrado, G., Viégas, F. B., & Wattenberg, M. (2019). TensorFlow.js: Machine Learning for the Web and Beyond.
Supangkat, D. A., Alibasyah, F. N., Dzulqornain, M. R., Hilal, M., Nashrulloh, M. A. N., & Anggraeny, F. T. (2021). PERBANDINGAN KOMBINASI METODE TEMPLATE MATCHING DAN ALGORITMA FEATURE MATCHING PADA PENGENALAN MATA UANG INDIA. SCAN - Jurnal Teknologi Informasi dan Komunikasi, 16(3). https://doi.org/10.33005/scan.v16i3.2636
Tharwat, A. (2021). Classification assessment methods. Applied Computing and Informatics, 17(1), 168–192. https://doi.org/10.1016/j.aci.2018.08.003
Vilares Ferro, M., Doval Mosquera, Y., Ribadas Pena, F. J., & Darriba Bilbao, V. M. (2023). Early stopping by correlating online indicators in neural networks. Neural Networks, 159, 109–124. https://doi.org/10.1016/j.neunet.2022.11.035
Warchocki, J., Vlasenko, M., & Eisma, Y. B. (2023). GRLib: An Open-Source Hand Gesture Detection and Recognition Python Library.
Zhang, F., Bazarevsky, V., Vakunov, A., Tkachenka, A., Sung, G., Chang, C.-L., & Grundmann, M. (2020). MediaPipe Hands: On-device Real-time Hand Tracking.
Full Text: PDF