Posible servidumbre de paso

Hace unos años vendí una finca cercana a una promotora para que constuyese un edificio de viviendas. Para que pasase todo el material de construcción, hubo que tirar un muro de otra de mis fincas que lindaba con la de otro propietario. Tras finalizar las obras, aprovechando esta circunstancia y al intentar volver a levantar el muro, dicho propietario denunció al ayuntamiento con la excusa de que iba a pasar una calle por ahí. Lo cierto es que su único propósito es conseguir dos metros para que pase su coche, ya que en su momento me negué a vendérselos, pero tiene un camino de servicio de un metro de ancho para poder entrar y salir de su casa. Hasta hace unos cuatro meses no había entrado nunca con el coche a pesar de que el muro no se ha levantado desde entonces, pero ahora lo está haciendo con una "sospechosa" tranquilidad. He de decir que tiene "muy buena mano" en el ayuntamiento de mi localidad. ¿Puedo denunciar el hecho puesto que no tiene permiso para pasar? ¿Podría un juez determinar servidumbre de paso? El ayuntamiento paró el levantamiento del muro aduciendo defectos de forma. ¿Debería volver a intentar solicitar la licencia de obras? Caso de que la negaran por razones "poco ortodoxas", ¿debería denunciar directamente al ayuntamiento? Perdón por el sermón y gracias por anticipado.