Cetatea Castra ad Montanesium este situată în zona de nord-vest a orașului, pe dealul Kaleto. În zonă s-au descoperit numeroase dovezi arheologice preistorice despre primii locuitori din epoca de piatră și epoca de cupru. Mai târziu, triburile tracice vechi au locuit pe deal până în secolul I î.Hr. Din construcțiile realizate de aceștia au rămas urme din zidurile de piatră, care îi protejau împotriva atacatorilor, având o grosime de mai mult de un metru lățime. Atrași de bogatele zăcăminte de diverse minereuri din zonă, inclusiv de aur, situate de-a lungul râului Ogosta, la sfârșitul secolului I î.Hr., locul a fost cucerit de romani. Aceștia au dat numele orașului, care provine din cuvântul latin Mons, adică munte. Montana a devenit orașul-centru al provinciei Mizia de Jos, unde au existat permanent trupe militare. Orașul era legat de drumuri comerciale cu restul Imperiului. Exploatarea minereurilor și a aurului, agricultura și meșteșugurile se dezvoltă rapid sub stăpânirea romană. Cetatea Castra ad Montanesium, care includea cazărmi, biserică și ziduri groase de apărare, a fost construită  împotriva raidurilor triburilor gotice din secolul III d.Hr. La poalele dealului este un sanctuar vechi din piatră dedicat zeităților Diana și Apollo. La sfârșitul sec. VI, odată cu invazia avarilor și slavilor, cetatea a fost distrusă. Slavii au construit o așezare numită Kutlovitsa, iar una dintre clădirile cazărmilor este transformată într-un sanctuar păgân, păstrat până în ziua de azi, dedicat zeului Perun sau Dazhdbog, zeul fertilității.