El primitivo Monasterio del Desierto se encuentra en un llano entre barrancos, a unos 500 metros del actual. Su construcción tuvo lugar entre los años 1697 y 1733. El recinto tenía capacidad para albergar a veinticuatro religiosos en sus diferentes dependencias. Se hallaban entre ellas un peculiar claustro, aljibes, una hospedería y un palacio episcopal cuyos restos aún hoy se pueden apreciar.
En 1783 una serie de lluvias torrenciales y movimientos de tierra perjudicaron seriamente la estructura del edificio, tras lo cual, los Carmelitas Descalzos se vieron obligados a abandonarlo, buscando una ubicación más segura.
Hoy, al contemplar sus ruinas, el visitante puede disfrutar de uno de los lugares más encantadores y poéticos del Desierto de las Palmas. Con el Mediterráneo como fondo, estas huellas del pasado descubren una estampa de serena belleza que invita a rememorar la sencillez y la santidad cotidianamente allí vividas durante un siglo.