Provavelmente o monte onde se situa a cidade tenha sido ocupado por Ibn Marwan, aproveitando uma estrutura romana, iniciando assim a história de Elvas.
Yalbash, designação árabe, cresceu e foi logo amuralhada, com um primeiro perímetro envolta do alcacer islâmico, no sec. IX. Com o crescimento da medina e com o forte comércio ali existente, houve necessidade de construir nova linha de fortificações no sec. XII, antecedendo a tomada cristã.
Elvas integra-se no Reino de Portugal definitivamente em 1230, no reinado de D. Sancho II, quando as estruturas muçulmanas serão remodeladas.
Devido à sua posição estratégica na zona de fronteira foi sempre uma praça-forte na defesa da nacionalidade, enfrentando as guerras com Castela, sendo permanentemente reforçadas as suas muralhas.
Durante o reinado de D. Afonso IV inicia-se a edificação de novas muralhas, terminadas com D. Fernando, composta por 22 torres, 11 portas e barbacã, da qual pouco resta.
Aqui se realizam vários casamentos reais, troca de princesas e de reais prisioneiros, bem como as cortes de 1361.
Será contudo no reinado de D. Manuel I (1495-1521), que a povoação terá uma renovação estrutural, abrindo-se novos espaços, construindo-se novas igrejas, recebendo o título de Cidade (1513) e iniciando a pretensão de ser sede episcopal, reconhecido apenas no reinado de D. Sebastião, pela bula Super Cunctas, de S. Pio V, de 9 de Junho de 1570, extinto apenas no sec. XIX.
Quando da perda de independência, no século XVI, a guarda avançada do exército do duque de Alba ocupou, sem dificuldade, a cidade, permanecendo aí a corte do rei castelhano, D. Filipe II, durante algumas semanas, em princípios de 1581.
Cercada em fins de 1658, assiste no início de 1659 à vitória portuguesa na Batalha das Linhas de Elvas, passo decisivo para a consolidação da independência de Portugal frente a Espanha. Foi ainda cercada em 1663, 1706 e 1711, resistindo com êxito.
O sistema abaluartado é integrado por sete baluartes, quatro meios-baluartes e um redente, além de cortinas monumentais, com três portas duplas. No interior, em área urbana, abrigam-se quartéis, casernas casamatadas, depósitos, paióis, dando ao conjunto urbano um marcado carácter militar, ao qual se juntam no exterior os Fortins de São Francisco, de São Mamede, de São Pedro, Forte de Santa Luzia e o Forte da Graça (Lippe).