Empezó a construirse a finales del siglo XV. Su estratégica ubicación le permitía controlar el paso de personas y mercancías tanto por el puerto como por los caminos.En 1934 el edificio sufrió un incendio, y entre 1958 y 1959 fue reconstruida. Es propiedad del Ayuntamiento, y alberga un museo que ofrece una exposición permanente sobre la historia de Portugalete y otras variadas, y un restaurante. La escultura corresponde a Lope García de Salazar.