1995 yılında kurulan kulüp, bu yıldan itibaren sportif faaliyetlerine başladı. Yeşil-beyazlı kulüp, yaptığı tüzük değişikliği sonrasında Karsspor adını almıştır. 1995-96 sezonunda amatör kümeye düşen kulüp, 2004–2005 futbol sezonunda Türkiye 3. Profesyonel Futbol Ligi´ne yükselerek; yeniden profesyonel lig mücadelesine başlamıştır. 2007-2008 yılında da küme hattından çıkıp şampiyon oldu.
Karsspor, 2007-2008 sezonunda oynadığı 3. Lig'ten, 4 Mayıs 2008 tarihinde oynadığı Aksarayspor maçını kendi evinde 2-1 kazanarak 2. Lig'e yükselmiştir.
2010-2012 yılları arası 3. ligde mücadele etmiştir. 2011-12 sezonu sonunda Bölgesel Amatör Lig'e düşmüştür. Tesislerine Karsspor'da büyük emeği geçen Ali Gaffar Okkan adına tesislerine Ali Gaffar Okkan adını vermiştir.
bir rizeli olarak yeni heyecanlar ararken ve garip isimli kulupler yerine şehir takımı çalıştırmak istememden dolayı karsspor'u aldım ve yeni sezon transfer güncellemesi ile açtığım bi oyunu size paylaşmak istiyorum takımın bölgesel amatör ligden süper lige kadar çıkışının resimlerini size atacam ve sezon 2018-2019 sezonundan itibaren süper ligden devam eden kariyerimi paylaşacam kuralları okudum ve kabul ediyorum