1995 yılında kurulan kulüp, bu yıldan itibaren sportif faaliyetlerine başladı. Yeşil-beyazlı kulüp, yaptığı tüzük değişikliği sonrasında Karsspor adını almıştır. 1995-96 sezonunda amatör kümeye düşen kulüp, 2004–2005 futbol sezonunda Türkiye 3. Profesyonel Futbol Ligi´ne yükselerek; yeniden profesyonel lig mücadelesine başlamıştır.
2007-2008 yılında da küme hattından çıkıp şampiyon olan Karsspor kendi liglerinde Avrupa’da 1. Dünya’da 2. kulüp olmuştur. Karsspor, 2007-2008 sezonunda oynadığı 3. Lig'ten, 4 Mayıs 2008 tarihinde oynadığı Aksarayspor maçını kendi evinde 2-1 kazanarak 2. Lig'e yükselmiştir.
2010-2012 yılları arası 3. ligde mücadele etmiştir. 2011-12 sezonu sonunda Bölgesel Amatör Lig'e düşmüştür. Tesislerine Karsspor'da büyük emeği geçen Ali Gaffar Okkan adına tesislerine adını veren yeşil beyazlı ekip, geçen süre içerisinde hızla profesyonelden amatöre düştü.
O günden günümüze kadar Bal Ligi ile amatör lig arasında gitti, geldi. Bir türlü profesyonel lige çıkamadı. Geçen yıl Ziraat Türkiye Kupası ve Ligde yakaladığı çıkışı sezon sonuna kadar götüremedi ve Hopa’da kaybederek şampiyonluktan oldu.
Buraya kadar iyi asıl bundan sonra ne olacak Karsspor ligden çekildi. Kars 36 Spor Büyükler Amatör Ligde kars’ı temsil ediyor. İlk karşılaşmasınıda Susuz’da 9-0 kazandı. Kanatim Amatör Ligden çıkar Kars 36 Spor, ancak yine muhtemelen Sarıkamış ile terfi maçı oynayacak. Eğer Sarıkamış BAL’da şampiyon olmazsa, ümit ederim Kars 36 Spor yönetimi bu sefer işi sıkı tutar ve önce BAL alrdından da 3. Lige çıkacak bir ekip kurar. Aksi takdirde Kars 36 Spor hep BAL ile amatör arasında zaman geçirir.
Tabi buradan bir çağrımızda Karslıyım diyen herkese olacak.
Karslıyım demek ile olmuyor.
Önce Kars’a, ardından Kars’ın takımına sahip çıkacaksın. Başarısına ortak olacaksın, üzüntüsüne ortak olacaksın, sevincine ortak olacak. Yoksa öyle sağda solda boy göstermek ile Karslı olunmaz. Şimdilik bu kadar…