¿Tengo qué dejar paso por mi parcela habiendo un camino que lo rodea?

hola, quiero vallar una parcela de mi suegra y tengo el permiso de obras del ayuntamiento, pero los vecinos de las tres parcelas de arriba dicen que tengo que dejarles subir por mi terreno porque llevan cuarenta años haciéndolo, pero el caso es que rodeando mi parcela va un camino que llega a las de ellos pero les resulta mas incomodo porque tienen que dar un pequeño rodeo. Dicen que al pasar por mi terreno tanto tiempo se ha convertido en servidumbre de paso, pero el plano del catastro que tengo esta muy claro. ¿que hacemos vallamos y que nos denuncien si quieren o consultamos con un abogado?. Según el plano del catastro si vallamos por donde esta marcado les cortamos el paso, pero eso no lo vamos a hacer. Interesaría que vierais el plano del catastro para situaros.

{"Lat":39.6554197750915,"Lng":-0.59883239379883}