Özellikle dışından akraba ziyaretine gelen vatandaşlar kale içerisinde bulunan Celal Baba Türbesini ziyaret ederek dua ediyor. 

Kale içerisinde bulunan Celal Baba Türbesi’ni her bayramda ziyaret ettiklerini ifade eden vatandaşlar, Celal Baba türbesinde dua ederek dilek tuttuklarını belirttiler. 

Kars Kaleiçi Mahallesi’nde bulunan Kars Kalesi ‘nin içerisinde kalenin güneyindeki giriş kapısının arka kısmında bulunana ve 12. Yüzyılda Kıpçak-Gürcü istilasında şehit düştüğü söylenen ve kalenin manevi sahibi sayılan Celal Baba’nın mezarı çini kubbeli iken , 1878 yılından sonra Rus istilacıları tarafından tahrip edilmiş. 1579 yılından sonra Lala Mustafa Paşa tarafından onarılan türbenin üzerindeki levha da, ‘Kahraman Celal Baba burada yatar M . 1239’ yazısı bulunuyor. 

Kars Kalesi’ni ziyaret edenlerin ilk uğrak yeri olan türbe de göerevli yetkili Celal Baba hakkında vatandaşlara bilgi veriyor. Vatandaşlar Celal Baba ziyaretinden sonra kaleyi geziyor.