Cierre finca

Buenas tardes, quería preguntarle por un cierre que queremos realizar en una finca, cuando la compramos ya estaba cerrada pero el muro de bloques que tenía se inclinó por el paso de tractores por el camino que pasa por al lado de la finca entonces decidimos arreglarlo y pedimos permiso y licencia, todo nos vino aceptado, pero ahora que hemos comenzado a reparar hay varios vecinos que dicen que nos van a denunciar porque dicen que tenemos que retirar el muro hacia adentro, se juntaron varios vecinos y dicen que entre todos van a reclamar al ayuntamiento, yo quería preguntarle si podemos tener algún problema. Tenemos licencia de ayuntamiento y permiso de diputación, pero no me fío, hay varia gente de la comunidad de montes dispuesta a denunciar, ¿me podría orientar sobre si esta gente puede darme problemas? Muchas gracias.un saludo.