Del que fuera palacio del mayordomo de Carlos V, don Luis de Quijada (s. XVI), poco queda. Tan solo el recuerdo histórico de que en él residió y fue educado el hijo bastardo de Carlos I, don Juan de Austria, conocido popularmente como “Jeromín”, y al cual reconocería como hermano Felipe II en 1559 después de una cacería celebrada en el próximo monasterio de La Santa Espina. No ocurre lo mismo con su castillo del siglo XV, que aún conserva parte de su antigua prestancia y que hoy en día es lugar de cigueñas que hacen sus nidos sobre los viejos muros.