El castillo se sitúa en lo alto de la ciudad. Su planta es más o menos cuadrada con cinco torres de forma cuadrangular. Sus muros son gruesos y altos. La puerta esta enmarcada por dos torres. Dispone de una muralla abaluartada, en la cual destaca un garitón con el escudo de la etapa de Felipe II. Una característica de este castillo es que se utiliza la terraza de las torres como elemento defensivo.
Uno de los aspectos que más destacan de esta fortaleza es su garitón defensivo. Situado en las murallas de la ciudad presenta el escudo del rey Felipe II, apareciendo el basón de Portugal. También destaca su torre del homenaje por la decoración del blasón pontificio, la tiara y la luna, distintivos del papa de Aragón.