Castelo Branco fue conquistada a los árabes en 1165 y el castillo fue donado por Sancho 1º a los Templarios. Existían 3 lineas de murallas. El castillo sufrión daños en las guerras de Sucesión Española y en la de la Independencia contra los franceses.