Cerramiento de una casa urbana fuera de ordenación sobrevenida

La cuestión es que he heredado una casa con un poquito de terreno urbano, en su día ya se expropió parte para hacer una carretera que sale de la ciudad, quedándome muy pegada y por el otro lado arreglaron un camino de tierra e hicieron carretera porque se hizo un plan urbss as místico, se urbanizó mucho y parceló para viviendas unifamiliares . Total que me he quedado derecha e izquierda con carreteras, y levantaron mucho el nivel del suelo, hicieron acera, y me pusieron un vallado de la acera a mi terreno de la casa que queda unos 60-70 cm más bajo que nivel de calle ahora .
Mi pregunta después de tanta explicación, es que era terreno urbano, como está fuera de ordenación ahora, m vallaron, no se si porque no se caiga la gente o porque, pero hay un cerramiento en mis laterales, puedo quitar esa valla y cerrar con placa o lo q sea, ahora es muy transitable y quiero intimidad y q no se meta la gente en mi terreno, q también lo hacen, porque no está cerrado todo el perímetro solo lateral y atrás, y si puedo, ¿tengo qué pedir algún permiso? ¿O puedo por las buenas quitar la valla y cambiarlo?