He comprado un terreno con una construcción del vecino

Recientemente compramos un terreno donde la inmobiliaria nos dijo cuales eran los límites. Al presentar proyecto en el ayuntamiento nos comentan que los límites no son esos y nos niegan licencia.

Al comprobar los límites nuevos, vemos que unas escaleras exteriores de nuestro nuevo vecino están dentro de nuestro terreno. Son una escaleras que dan acceso desde una zona inferior de su casa a una zona con piscina en la parte superior. No es el único acceso que tiene.

La pregunta es, ¿podemos construir incluyendo todo lo que es nuestro según catastro? Esto implica derruir parte de las escaleras.