TA : Sistem Deteksi Simbol pada SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Mediapipe dan Resnet-50

Anam, Nofal (2022) TA : Sistem Deteksi Simbol pada SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Mediapipe dan Resnet-50. Undergraduate thesis, Universitas Dinamika.

[img]
Preview
Text
18410200050-2022-UNIVERSTIAS DINAMIKA.pdf - Accepted Version

Download (3MB) | Preview
[img] Text
18410200050-2022-LAMPIRAN.pdf - Accepted Version
Restricted to Repository staff only

Download (489kB)

Abstract

Bahasa isyarat menjadi alternatif yang sering digunakan oleh penyandang tuna rungu dan wicara untuk berkomunikasi. Namun cara tersebut sulit digunakan oleh mereka untuk berkomunikasi dengan orang normal, terutama yang belum belajar Bahasa isyarat. Sementara tetap perlu adanya interaksi dan komunikasi antara penyandang tuna rungu, wicara dengan orang normal. Penggunaan teknologi deep learning telah banyak diterapkan dalam berbagai hal, termasuk Bahasa isyarat. Pengembangan deep learning dalam ranah Bahasa isyarat masih berlanjut, termasuk dalam penelitian ini. Penulis melakukan penelitian terhadap metode Pre-trained Convolutional Neural Network model ResNet-50 untuk klasifikasi simbol Sistem Isyarat Bahasa Indonesia (SIBI). Penulis juga menggunakan teknologi Mediapipe Holistic yang dikembangkan oleh Google untuk mendeteksi posisi pose dan tangan dari setiap simbol isyarat, sehingga lebih mudah membedakan gerakan simbol. Telah dibuat 1200 citra gambar yang terdiri dari 6 class sebagai dataset dengan pembagian 960 untuk training, 180 validasi, dan 60 testing. Hasil dari proses training menggunakan ResNet-50 mendapatkan akurasi training 33% dan akurasi validation 40%, dengan adanya penambahan Medipapipe telah meningkatkan nilai akurasi training menjadi 88% dan akurasi validation 87%. Sehingga telah terjadi peningkatan nilai akurasi training sebesar 55% dan akurasi validation sebesar 47%. Perhitungan performance metrics menggunakan Mediapipe dan ResNet-50 telah menghasilkan nilai performa rata-rata keenam simbol sebagai berikut: precission 86%, recall 86%, dan F1-score 85%. Sedangkan akurasi testing menggunakan Mediapipe dan ResNet-50 mempunyai nilai persentase setiap simbol sebagai berikut: ‘Aku’ 90%, ‘Cinta’ 100%, ‘Dia’ 100%, ‘Kamu’ 50%, ‘Maaf’ 100%, dan ‘Sedih’ 80%.


Export Record



Statistic

IRStats Detail StatisticView more statistics

Item Type: Thesis (Undergraduate)
Additional Information: Nofal Anam (18410200050)
Uncontrolled Keywords: Bahasa Isyarat, Deep Learning, ResNet50, Mediapipe, Pre-trained Convolutional Neural Network.
Dewey Decimal Classification: 000 - Computer science, information & general works > 000 Computer science, knowledge & systems > 005 Computer programming, programs & data
Divisions: Fakultas Teknologi dan Informatika > S1 Teknik Komputer
Depositing User: Nofal Anam
Date Deposited: 16 Feb 2022 14:53
Last Modified: 16 Feb 2022 14:53
THESIS ADVISORS: 1. UNSPECIFIED (NIDN : UNSPECIFIED)
URI: http://repository.dinamika.ac.id/id/eprint/6259

Actions (login required)

View Item View Item