Evrişimli Sinir Ağları kullanılarak Türk İşaret Dili Alfabesinin Tespit Edilmesi

Abstract

Bu çalışmada engelli bireylerin işaret dili bilmeyen insanlarla iletişim kurabilmelerini destekleyici yapay zeka destekli bir uygulama geliştirilmiştir. Günümüzde engellilerin toplumsal yaşamdaki birçok olanaktan daha fazla yararlanabilme ya da indirimli yararlanabilme gibi engelli bireyleri toplumla kaynaştırmayı arttıran birçok girişim bulunmaktadır. Engellilerin sadece sosyal olanak ya da maddi imkanlardan faydalanması değil toplumda engelli bireyler ile engelsiz bireylerin aralarındaki iletişimin kuvvetlenerek kendilerini toplumun bir parçası olarak hissetmeleri oldukça önemlidir. Toplum içinde işitme engelliler iletişim konusunda işaret dili bilmeyen insanlar ile iletişime geçmekte zorlanmaktadırlar. Bu yaşanan iletişim probleminin önüne geçmek için yapay zeka destekli bir uygulama geliştirilmiştir. Uygulamada derin öğrenme yöntemlerinin görüntü işleme alanında en yaygın kullanılan Evrişimli Sinir Ağları (CNN) kullanılmıştır. Kullanılan CNN modelinde başarımı arttırmak için Adadelta, Stochastic Gradient Descent (SDG) ve Adagard olmak üzere üç farklı optimizasyon algoritması ile eğitim ve testler yapılarak modelin başarımını karşılaştırılmıştır. Test sonuçlarında Adagrad algoritması %97,01, SGD algoritması %96,71, Adadelta algoritması ise %70,91 başarım oranı elde etmiştir. En iyi sonucu veren Adagrad optimizasyon algoritması ile geliştirilen model canlı kamera görüntüsünden alınan görüntüler üzerinde uygulanma geliştirilmiştir. Geliştirilen uygulamada kameradan alınan görüntüdeki işaret dili harfini anlık olarak ekrana yazdırılarak işaret dili ile anlatılmak istenen harfler takip edilebilmektedir.