Cómo eliminar una servidumbre de paso?

En la escritura de mi parcela, hay reconocida una servidumbre de paso a favor de un vecino ya que no tenía otro acceso a su vivienda. Actualmente al remodelarse el terreno trasero de las dos fincas, tiene acceso asfaltado a su finca, lo único que al ser a distinto nivel no ha hecho acceso de vehículos a su finca, pero ya no usa mi camino y accede a su casa por ahí, dejando aparcado el coche en la calle en la misma puerta de su casa. ¿Puedo solicitar que se anule la servidumbre de paso al tener otro acceso y que además es público? En caso de poder hacerlo, ¿cómo tendría que hacerlo?