Ağırlıklandırılmış Çizgelerde Tf-Idf ve Eigen Ayrışımı Kullanarak Metin Sınıflandırma

Abstract

Günümüzde gerek metin gerekse cümle sınıflandırma problemleri üzerinde yoğunlukla çalışılmaktadır. Metin sınıflandırma işlemlerinde en önemli problemlerden biri sınıflandırılacak metinlerin yapısal olmamasıdır. Belli bir formata sahip olmayan metinlerin öncelikle bir önişlemden geçirilmesi gerekmektedir. Bu çalışmada metinleri sınıflandırma işleminde öncelikle sınıflandırılacak metinlerin önişlemini yapmak amacıyla KUSH (Karci-UçkanSeyyarer-Hark) adında bir önişleme aracı geliştirildi. Sonrasında elde edilen işlenmiş metinlerin sınıflandırılmasında çizge tabanlı matematiksel bir yaklaşım sunulmaktadır. Yapılan çalışmada Türkiye’de iyi bilinen 6 haber portalından ve 6 farklı alandan elde edilen metinleri içeren TTC-3600 veri seti kullanılmaktadır. Sınıflandırılacak metinler Tf (Terim frekansı) ve Idf (Ters doküman Frekansı) değerleri dikkate alınarak çeşitli önişlemlerden geçirildikten sonra kenar ve düğümlerden oluşan bir ağırlıklı çizge oluşturulmaktadır. Ağırlıklandırılmış çizgeler kullanılarak sınıflandırma işleminin etkililiği ve matematiksel verimliliği arttırılmıştır. Elde edilen çizgeyi ifade eden Komşuluk Matrisi ve Derece Matrisi kullanılarak Laplace Matrisi elde edilmektedir. Laplace Matrisinin özdeğer ayrışımı sonucunda elde edilen özdeğer ve özdeğer vektörleri ile metinler sınıflandırılmaktadır. Yapılan testler sonucunda sınıflandırma oranlarında dikkate değer bir doğruluk değerine ulaşıldığı görülmektedir.