Servidumbre de paso terreno rustico

Por herencia mi mujer eredo de sus padres hace 37 años un pequeño olivar en un terreno de 2800 metros cuadrados, en la provincia de Toledo. Por ara pasar a nuestra finca siempre tenemos q pasar por otro olivar lindero con nuestro olivar, por qué la finca/olivar del lindero de nuestra finca es el terreno que linda con el Camino de entrada para ir a nuestra finca por que no hay otro camino, no hay otra forma de pasar a nuestra finca, tanto ahora, como en vida de los padres de mi mujer que hace 80 años que compraron la finca siempre se ha pasado por el olivar del lindero q Linda con el Camino. El lindero quiere vallar su finca, dice el lindero que si el quiere no nos deja pasar por su finca para ir a nuestra finca por que estaría en su derecho de no dejarnos pasar, dice que le tendríamos q Pagar algún dinero por pasar por su olivar para ir nuestra Tierra. Mi pregunta: ¿El lindero nos puede prohibir se puede negar a que pasemos por su finca cuando toda la vida se ha pasado por su finca para ir a la nuestra?... ¿Tendríamos q Pagar algún dinero al lindero por pasar por su finca?