¿Podemos pedir la reducción de un muro divisor de parcelas que sobrepasa altura máxima permitida?

Compramos una parcela con una casa antigua que estaba construida pegada a la parcela del vecino. El vecino aprovechó para hacer el muro de separación de las fincas de más de 4 metros de altura apoyándolo en la antigua vivienda. Ahora que se ha derribado la casa para hacer una vivienda nueva nos da miedo que este muro pueda caer debido a su altura, además al ser tan alto tapa las ventanas del segundo piso de la vivienda, con lo que nos quita muchísima luz.

Desde el ayuntamiento dicen que el muro es ilegal pero que ha prescrito y que al ser una disputa entre vecinos no se van a meter pero recomiendan que lleguemos a un acuerdo para rebajar el muro a lo que nuestro vecino se opone.

Al tratarse de un muro tan alto y estrecho nos da mucho miedo que caiga, ¿hay alguna manera de conseguir que se rebaje?