¿Puedo tener un huerto a un metro de valla medianera?

Mi parcela colinda por valla medianera con 3 fincas más, los 2 lados y enfrente. Al comprar la finca 2 de los vecinos ya han construido la valla con bloques, correcto. En un lado aún hay valla antigua metalica de un metro. Tenemos pensado hacerla al finalizar las obras de casa.

La casa de este vecino tipo huerto(construcción antigua sin ningún tipo de aislamiento) hace de valla por mi lado y al aislarla con espuma de poliuretano, se metió unos 10 cm lineales, en mi parcela, y nos havia echado cemento y tela asfaltica de unos 50 cm. A partir de su pared, nunca se lo hemos dicho. Pero claro lo retiremos.

Decidimos hacer un huerto en nuestra parte, a 1 metro de su pared que ya estaba dentro de nuestra parcela. Dice que tiene humedades (nunca las enseña) causa del huerto y porque quitemos la tela asfáltica que el puso en nuestro terreno.

Consúltemos con el arquitecto que nos lleva la obra y nos dijo que todo estaba correcto por nuestro lado, pero sigue amenazando con denunciarnos.

¿Tiene algún derecho este vecino a decidir sobre lo que yo debo hacer en este trozo de parcela? Ya que nos comenta de cementarla y quitar el huerto.