Anam, Nofal (2022) TA : Sistem Deteksi Simbol pada SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Mediapipe dan Resnet-50. Undergraduate thesis, Universitas Dinamika.
|
Text
18410200050-2022-UNIVERSTIAS DINAMIKA.pdf - Accepted Version Download (3MB) | Preview |
|
Text
18410200050-2022-LAMPIRAN.pdf - Accepted Version Restricted to Repository staff only Download (489kB) |
Search this title on : |
Abstract
Bahasa isyarat menjadi alternatif yang sering digunakan oleh penyandang tuna rungu dan wicara untuk berkomunikasi. Namun cara tersebut sulit digunakan oleh mereka untuk berkomunikasi dengan orang normal, terutama yang belum belajar Bahasa isyarat. Sementara tetap perlu adanya interaksi dan komunikasi antara penyandang tuna rungu, wicara dengan orang normal. Penggunaan teknologi deep learning telah banyak diterapkan dalam berbagai hal, termasuk Bahasa isyarat. Pengembangan deep learning dalam ranah Bahasa isyarat masih berlanjut, termasuk dalam penelitian ini. Penulis melakukan penelitian terhadap metode Pre-trained Convolutional Neural Network model ResNet-50 untuk klasifikasi simbol Sistem Isyarat Bahasa Indonesia (SIBI). Penulis juga menggunakan teknologi Mediapipe Holistic yang dikembangkan oleh Google untuk mendeteksi posisi pose dan tangan dari setiap simbol isyarat, sehingga lebih mudah membedakan gerakan simbol. Telah dibuat 1200 citra gambar yang terdiri dari 6 class sebagai dataset dengan pembagian 960 untuk training, 180 validasi, dan 60 testing. Hasil dari proses training menggunakan ResNet-50 mendapatkan akurasi training 33% dan akurasi validation 40%, dengan adanya penambahan Medipapipe telah meningkatkan nilai akurasi training menjadi 88% dan akurasi validation 87%. Sehingga telah terjadi peningkatan nilai akurasi training sebesar 55% dan akurasi validation sebesar 47%. Perhitungan performance metrics menggunakan Mediapipe dan ResNet-50 telah menghasilkan nilai performa rata-rata keenam simbol sebagai berikut: precission 86%, recall 86%, dan F1-score 85%. Sedangkan akurasi testing menggunakan Mediapipe dan ResNet-50 mempunyai nilai persentase setiap simbol sebagai berikut: ‘Aku’ 90%, ‘Cinta’ 100%, ‘Dia’ 100%, ‘Kamu’ 50%, ‘Maaf’ 100%, dan ‘Sedih’ 80%.
Export Record
Item Type: | Thesis (Undergraduate) |
---|---|
Additional Information: | Nofal Anam (18410200050) |
Uncontrolled Keywords: | Bahasa Isyarat, Deep Learning, ResNet50, Mediapipe, Pre-trained Convolutional Neural Network. |
Dewey Decimal Classification: | 000 – Computer science, information & general works > 000 Computer science, knowledge & systems > 005 Computer programming, programs & data |
Divisions: | Fakultas Teknologi dan Informatika > S1 Teknik Komputer |
Depositing User: | Nofal Anam |
Date Deposited: | 16 Feb 2022 14:53 |
Last Modified: | 16 Feb 2022 14:53 |
THESIS ADVISORS: |
1. UNSPECIFIED (NIDN : UNSPECIFIED)
|
URI: | http://repository.dinamika.ac.id/id/eprint/6259 |
Download Statistics
Downloads over the past year. Other digital versions may also be available to download e.g. from the publisher's website.
Actions (login required)
View Item |