San Martín del Castañar se sitúa sobre una atalaya dominando el curso del río Francia, se asienta sobre poblamientos remotos, como por ejemplo, de la época romana. De este tiempo se conserva una estela que está colocada en el atrio de la iglesia. Vestigios románicos parecen ser también sobre los que está construida la iglesia. También son medievales el Castillo, del que se conserva la torre del homenaje y el arco apuntado de la entrada, y la muralla medieval. Es un pueblo de arquitectura popular muy bien conservada y representativa de la Sierra de Francia.
Calles encajonadas, pequeñas y acogedoras plazas e incluso una plaza de toros con un sabor muy arcaico.