DETEKSI KOSAKATA BAHASA ISYARAT INDONESIA MENGGUNAKAN LONG SHORT TERM MEMORY

SARI, ESA NABILA (2023) DETEKSI KOSAKATA BAHASA ISYARAT INDONESIA MENGGUNAKAN LONG SHORT TERM MEMORY. S1 thesis, Universitas Mercu Buana Jakarta.

Preview	Text (COVER) 01. COVER.pdf Download (581kB) | Preview
Preview	Text (ABSTRAK) 02. ABSTRAK.pdf Download (24kB) | Preview
	Text (BAB I) 03. BAB I.pdf Restricted to Registered users only Download (212kB)
	Text (BAB II) 04. BAB II.pdf Restricted to Registered users only Download (550kB)
	Text (BAB III) 05. BAB III.pdf Restricted to Registered users only Download (235kB)
	Text (BAB IV) 06. BAB IV.pdf Restricted to Registered users only Download (541kB)
	Text (BAB V) 07. BAB V.pdf Restricted to Registered users only Download (195kB)
	Text (DAFTAR PUSTAKA) 08. DAFTAR PUSTAKA.pdf Restricted to Registered users only Download (253kB)
	Text (LAMPIRAN) 09. LAMPIRAN.pdf Restricted to Registered users only Download (927kB)

Abstract

There are 14,2% of Indonesia people have a deaf and speech-impaired disability. In social life, they tend to use sign language in communication. Although sign language facilitates communication between of disability speech-impaired and deaf people, is difficult for common people to understand. This is because not all normal people learn sign language like them. Indonesia has 2 standard sign language systems that are commonly encountered, i.e., Indonesian Sign Language (BISINDO) and Indonesian Sign System (SIBI). BISINDO is the one more commonly used by deaf. This research aims to develop a Deep Learning Long Short Term Memory (LSTM) model in detecting hand gestures of BISINDO vocabulary, by using MediaPipe to extract a landmark from each frame of an image. This research used 900 images data for the 10 hand gestures of vocabulary BISINDO. Result show the highest accuracy in this research amounted to 0.9965 and the loss 0.0444, it's concluded that the model gives a pretty good result in detecting hand gestures of vocabulary BISINDO. Keywords: Indonesian Sign Language, LSTM, Deep Learning, MediaPipe Terdapat 14,2% penduduk Indonesia yang menyandang disabilitas tunarungu dan tunawicara. Dalam kehidupan sosial mereka cenderung berkomunikasi menggunakan bahasa isyarat. Meskipun bahasa isyarat mempermudah komunikasi antara penyandang disabilitas tunawicara dan tunarungu, bahasa isyarat sulit dipahami oleh orang normal pada umumnya. Hal ini dikarenakan tidak semua orang normal belajar bahasa isyarat seperti mereka. Indonesia memiliki 2 standar bentuk bahasa isyarat yang biasa dijumpai ialah Bahasa Isyarat Indonesia (BISINDO) serta Sistem Isyarat Bahasa Indonesia (SIBI). BISINDO tidak jarang digunakan pada kehidupan setiap hari. Tujuan dari penelitian adalah untuk mengembangkan model algoritma Deep Learning Long Short Term Memory (LSTM) yang mengenali gestur tangan pada kosakata BISINDO, dengan memanfaatkan MediaPipe untuk mengekstrak landmark dari setiap frame rangkaian citra. Penelitian ini menggunakan data sebanyak 900 data citra untuk 10 gestur kosakata BISINDO. Hasil penelitian menunjukkan bahwa akurasi terbaik dari penelitian ini sebesar 0.9965 dan loss 0.0444, dapat disimpulkan bahwa model tersebut memberikan hasil yang cukup baik dalam mendeteksi gestur tangan pada kosakata BISINDO. Kata kunci: Bahasa Isyarat Indonesia, LSTM, Deep Learning, MediaPipe

Actions (login required)

View Item