Kenti çevreleyen dış kale surları da 12. yy’da inşa edilmeye başlanmış ancak 1386 tarihinde Timur tarafından kale yerle bir edilmiş.
1579 yılında Osmanlı Padişahı III.Murat’ın fermanı ile Kars’a gelen Lala Mustafa Paşa, kale ve dış cephe surları yeniden inşa ettirmiş. 1616 ve 1636 yıllarında iki defa onarımdan geçirilen Kars Kalesi, 1877-1878 Osmanlı-Rus savaşından sonra 40 yıllık Rus işgalinde tahribatlara uğramış, orijinal özelliğini ve kullanımını yitirmiş.
Kaynaklara göre Merkez kale dışında surlar 27 bin metre uzunluğunda olup, 220 burçtan meydana geliyor. Kale, doğu-batı istikametinde 250 metre. Kuzey-güney istikametinde yaklaşık 90 metre. Kars Kalesinin dış cephe surları kesme bazalt taştan yapılmış olup yük istinat duvarları ile çevrili.
Kalenin üç büyük kapısı bulunuyor. Bunlar; Sukapısı veya Çeribaşı kapısı (batıda) Kağızman kapısı (Ortakapı) Behram Kapısı veya Bayrampaşa kapısı. Kalenin kuzeydeki ana giriş kapısı kale önündeki boşluğa açılıyor. Bu yapılar arasında kalenin en yüksek noktası olan kale burcuna doğru taş döşemeli bir cadde mevcut olup caddenin bitiminden itibaren merdivenlerle kale burcuna ulaşılmakta.
Kars Kalesi içerisinde 12. yy’dan kalma Celal Baba Türbesi, Askeri Koğuşlar, Tarlalar, Cephanelik ve bir adet Mescit yer alıyor. SİT alanı olarak ilan edilen Kars Kalesi, kentten bakıldığında hala etkileyici bir görünüme sahip. Son yıllarda turizmin gözde kentlerinden olan Kars’ta hem kale, hem de kaleden kentin görünümü büyük ilgi çekiyor.