¿Puedo subir la valla de separación de mi jardín con el del vecino?

Hola mi consulta es la siguiente:

Vivimos en un adosado cuyo jardín tiene una valla de separación con el del vecino de una altura de 1,5 m. Resulta que no tenemos nada de intimidad ni siquiera dentro de mi dormitorio ya que la ventana está junto a la valla y cuando tienen visita se asoman a mi jardín aún cuando nosotros estemos en él disfrutando de la piscina, con lo cual hemos decidido no salir al jardín cuando tengan visita. Quiero proponerles el subir la valla unos 40 cm, y mi consulta es si ellos se niegan ¿tengo derecho a hacerlo de todos modos?

Muchas gracias de antemano.