Sigmoid-Gumbel: Yeni Bir Hibrit Aktivasyon Fonksiyonu

Abstract

Bu makalede daha önce sunulan aktivasyon fonksiyonlarının olumlu yanlarını birleştiren ve onlardan daha iyi başarım sağlayan ve Sigmoid-Gumbel (SG) olarak adlandırılan yeni bir hibrit aktivasyon fonksiyonu önerilmiştir. Önerilen fonksiyonun başarımını değerlendirmek için dört uygulama yapılmıştır. Yapılan uygulamalarda karşılaştırma fonksiyonları olarak Sigmoid, Gumbel, ReLU ve Adaptive Gumbel fonksiyonları kullanılmıştır. Uygulamalarda MLP ve CNN sinir ağı modelleri kullanılmıştır. MLP ağı derin öğrenmede ikili sınıflandırma sınıf dengesizliği problemi için kullanılmıştır. CNN ağı ise derin öğrenmede görüntü sınıflandırma uygulamaları yapmak üzere tercih edilmiştir. Birinci uygulamada, önerilen fonksiyonun etkinliğini göstermek için MLP ağında 25 dengesiz veri kümesi kullanılmıştır. En yüksek AUC ortalamasını 0.9013 değeri ile SG elde etmiştir. İkinci uygulamada, önerilen fonksiyon CNN ağında MNIST veri kümesi kullanılarak Sigmoid ve Gumbel fonksiyonlarıyla karşılaştırılmıştır. En yüksek ortalama doğruluk değerini 0.9921 ile SG elde etmiştir. Üçüncü uygulamada, önerilen fonksiyonun üç farklı versiyonu karşılaştırılmıştır. Bunun için Fashion-MNIST veri kümesi CNN ağı üzerinde denenmiştir. En yüksek doğruluğu 0.9351 ortalama değeri ile SGv3 elde etmiştir. Dördüncü uygulamada, önerilen fonksiyon CNN ağında MNIST veri kümesi kullanılarak ReLU ve Adaptive Gumbel fonksiyonlarıyla karşılaştırılmıştır. En yüksek başarım 0.9926 değeri ile SG tarafından elde edilmiştir. Yapılan deney sonuçlarına bakıldığında önerilen aktivasyon fonksiyonunun genel olarak daha başarılı olduğu görülmektedir.