Görüntü işleme teknikleri kullanılarak yüz ifadelerinden duygu analizi / Emotion analysis from facial expressions using image processing techniques

Abstract

nsanlar arası iletişimde büyük rol oynayan yüz ifadeleri duygu, düşünce ve ruhsal durumlarla ilgili bilgi vermede oldukça önemli bir yere sahiptir. İnsanlar arasındaki bu etkileşim gelişen teknolojiyle beraber insan makine ilişkisi içinde kullanılması amaçlanmıştır. Bu sebeple insanlara ait duyguların bilgisayarlar tarafından anlaşılması ve öğrenilmesi oldukça önemli bir konu haline gelmiştir. Birçok alanda yüz ifade analizine ihtiyaç doğduğundan verilerin hızlı işlenip sonucun en büyük doğruluk oranı ile bulunmasını gerektirmiştir. Böylece artan ihtiyaç ve gelişen teknoloji ile bu alanda yapılan çalışmalar da hızla artmıştır. Bu çalışmada insanın sahip olduğu "öfke, iğrenme, korku, mutluluk, üzüntü, şaşkınlık ve doğal" olmak üzere 7 duygu durumunun analizi gerçekleştirilmiştir. Bu 7 durumun sınıflandırılmasından önce gerçekleşmesi gereken temel adımlar vardır. Temel olarak bu adımlar; yüzün belirlenmesi, görüntünün temizlenip normalize edilmesi, görüntüden özniteliklerin çıkarılması, yüzdeki değişimlerin izlenmesi ve sınıflandırılmasıdır. Yüz ifadelerinin tespiti amacıyla 35887 adet yüz görselinden oluşan veri kümesinde çalışma yapılmıştır. Bu veri kümesi kullanılarak 7 farklı yüz ifadesi sınıflandırılmıştır. Bu çalışmada gri formatta bulunan 48x48 boyutundaki görseller önermiş olduğumuz CNN modeline uygulanmış ve başarımları değerlendirilmiştir. Yapılan çalışma da FER2013 veri kümesinde bulunan yüz ifadelerini otomatik sınıflandırmak amacıyla bir evrişimsel sinir ağı (CNN) önerilmiş olup, optimizasyon fonksiyonu olarak da "adam" ve "sgd" optimizasyon fonksiyonları ayrı ayrı denenerek sonuçları elde edilmiştir. "Adam" optimizasyon fonksiyonu kullanılarak önerilen modelde doğruluk oranı %69 olarak elde edilirken "sgd" optimizasyon fonksiyonu kullanılarak önerilen modelde ise doğruluk oranı %92 elde edilmiştir. Böylece önerilen modelde sgd optimizasyon fonksiyonunun doğruluk oranı adam optimizasyon fonksiyonunun doğruluk oranından daha yüksek olduğu belirlenmiştir. Anahtar kelimeler: Görüntü İşleme, OpenCV, Yüz İfade Sınıflandırılması, Derin Öğrenme, Yapay Sinir Ağları, CNN