¿Puedo construir un lavadero sin permiso del vecino?

Tengo una casa con un patio. He construido un lavadero y ha quedado anexo a la valla de separación de la parcela del vecino pero siempre en mi lado, sin invadir ni la medianera de separación.

El ayuntamiento me pide un permiso del vecino. La casa vecina es de la misma empresa que nos vendió a nosotros la nuestra y no nos contesta a nuestras peticiones, quede constancia que ya tenemos problemas con ellos por cuestiones que podrían ser incluso delito por parte de esta empresa.

¿Qué consecuencias puedo tener si no presento este permiso? ¿Me pueden hacer demoler el lavadero que no llega a 3 metros cuadrados y con el vecino una pequeña pared? ¿Qué podría hacer para no tener problemas?