TA : Sistem Deteksi Simbol pada SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Mediapipe dan Resnet-50

Anam, Nofal (2022) TA : Sistem Deteksi Simbol pada SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Mediapipe dan Resnet-50. Undergraduate thesis, Universitas Dinamika.

Preview	Text 18410200050-2022-UNIVERSTIAS DINAMIKA.pdf - Accepted Version Download (3MB) | Preview
	Text 18410200050-2022-LAMPIRAN.pdf - Accepted Version Restricted to Repository staff only Download (489kB)

Search this title on : |

Abstract

Bahasa isyarat menjadi alternatif yang sering digunakan oleh penyandang tuna rungu dan wicara untuk berkomunikasi. Namun cara tersebut sulit digunakan oleh mereka untuk berkomunikasi dengan orang normal, terutama yang belum belajar Bahasa isyarat. Sementara tetap perlu adanya interaksi dan komunikasi antara penyandang tuna rungu, wicara dengan orang normal. Penggunaan teknologi deep learning telah banyak diterapkan dalam berbagai hal, termasuk Bahasa isyarat. Pengembangan deep learning dalam ranah Bahasa isyarat masih berlanjut, termasuk dalam penelitian ini. Penulis melakukan penelitian terhadap metode Pre-trained Convolutional Neural Network model ResNet-50 untuk klasifikasi simbol Sistem Isyarat Bahasa Indonesia (SIBI). Penulis juga menggunakan teknologi Mediapipe Holistic yang dikembangkan oleh Google untuk mendeteksi posisi pose dan tangan dari setiap simbol isyarat, sehingga lebih mudah membedakan gerakan simbol. Telah dibuat 1200 citra gambar yang terdiri dari 6 class sebagai dataset dengan pembagian 960 untuk training, 180 validasi, dan 60 testing. Hasil dari proses training menggunakan ResNet-50 mendapatkan akurasi training 33% dan akurasi validation 40%, dengan adanya penambahan Medipapipe telah meningkatkan nilai akurasi training menjadi 88% dan akurasi validation 87%. Sehingga telah terjadi peningkatan nilai akurasi training sebesar 55% dan akurasi validation sebesar 47%. Perhitungan performance metrics menggunakan Mediapipe dan ResNet-50 telah menghasilkan nilai performa rata-rata keenam simbol sebagai berikut: precission 86%, recall 86%, dan F1-score 85%. Sedangkan akurasi testing menggunakan Mediapipe dan ResNet-50 mempunyai nilai persentase setiap simbol sebagai berikut: ‘Aku’ 90%, ‘Cinta’ 100%, ‘Dia’ 100%, ‘Kamu’ 50%, ‘Maaf’ 100%, dan ‘Sedih’ 80%.

Export Record

ASCII Citation Atom BibTeX Dublin Core EP3 XML EndNote HTML Citation JSON METS MODS MPEG-21 DIDL OpenURL ContextObject OpenURL ContextObject in Span RDF+N-Triples RDF+N3 RDF+XML Refer Reference Manager Simple Metadata

Download Statistics

Downloads over the past year. Other digital versions may also be available to download e.g. from the publisher's website.

View more statistics

Actions (login required)

View Item