The analysis of a linear classifier developed through particle swarm optimization

Abstract

Meta-heuristics are high-level approaches developed to discover a heuristic that provides a reasonable solution to many varieties of optimization problems. The classification problems contain a sort of optimization problem. Simply, the objective herein is to reduce the number of misclassified instances. In this paper, the question of whether meta-heuristic methods can be used to construct linear models or not is answered. To this end, Particle Swarm Optimization (PSO) has been engaged to address linear classification problems. The Particle Swarm Classifier (PSC) with a certain objective function has been compared with Support Vector Machine (SVM), Perceptron Learning Rule (PLR), and Logistic Regression (LR) applied to fifteen data sets. The experimental results point out that PSC can compete with the other classifiers, and it turns out to be superior to other classifiers for some binary classification problems. Furthermore, the average classification accuracies of PSC, SVM, LR, and PLR are 80.8%, 80.6%, 80.9%, and 57.7%, respectively. In order to enhance the classification performance of PSC, more advanced objective functions can be developed. Further, the classification accuracy can be boosted more by constructing tighter constraints via another meta-heuristic.

Meta-sezgisel yöntemler, çok çeşitli optimizasyon problemlerine uygun bir çözüm sağlayan sezgisel bir yöntemi keşfetmek için geliştirilmiş üst düzey yaklaşımlardır. Sınıflandırma problemleri bir tür optimizasyon problemi içerir. Kısacası, sınıflandırma problemlerinde amaç yanlış sınıflandırılan örneklerin sayısını azaltmaktır. Bu makalede, meta sezgisel yöntemlerin doğrusal modeller oluşturmak için kullanılıp kullanılamayacağı sorusunu cevaplamaktır. Bu amaçla, doğrusal sınıflandırma problemlerini çözmek için Parçacık Sürü Optimizasyonu (PSO) devreye alınmıştır. Belirli bir amaç fonksiyonuna sahip Parçacık Sürü Sınıflandırıcısı (PSC), on beş veri kümesi üzerine uygulanan Destek Vektör Makinesi (SVM), Perceptron Learning Rule (PLR) ve Logistic Regresyon (LR) ile karşılaştırılmıştır. Deneysel sonuçlar, PSC'nin diğer sınıflandırıcılarla rekabet edebildiğini ve bazı ikili sınıflandırma problemlerinde diğer sınıflandırıcılardan üstün olduğunu göstermektedir. Ayrıca, PSC, SVM, LR ve PLR'nin ortalama sınıflandırma doğrulukları sırasıyla %80,8, %80,6, %80,9 ve %57,7'dir. PSC'nin sınıflandırma performansını artırmak için daha gelişmiş amaç fonksiyonları geliştirilebilir. Ayrıca, başka bir meta sezgisel yöntemle daha sıkı kısıtlamalar oluşturarak sınıflandırma doğruluğu daha fazla artırılabilir.