Como evitar que mi vecino pase por un camino dentro de mi finca

Hace una año me compre un terreno. Por el interior de mi terreno pasa un camino de servidumbre entre mi vecino y yo para acceder a las viviendas y así consta en las escrituras de los dos. Este camino esta echo desde hace mas de 30 años. Este vecino tiene espacio para pasar un camino dentro de su terreno. Una vez le propuse pasar parte del camino por la parte trasera de las viviendas, corriendo yo con los gastos, cediendo unos quince metros de mi terreno, arrancar seis olivos, dos almendros y eliminar mi huerta, para evitar de que éste pase cada día por delante de mi puerta, a un metro u medio de distancia, con el peligro que ello conlleva ya que tengo una nieta y sobrinos de muy corta edad. Este vecino al proponerle esto, actuó de muy malas maneras, voces e insultos. Este vecino a levantado una puerta de hierro corredera evitando el acceso a su terreno ni en coche ni andando, pasa por delante de mi puerta en coche o andando, provocando, abre su puerta de hierro, pasa, cierra y nadie le molesta. A fecha de hoy no tenemos ninguna relación. ¿Qué puedo hacer?