Terreno de servidumbre mediante acuerdo privado

Somos propietarios de una finca urbana en un municipio de Madrid, que linda con otra y entre ambas existe una franja de terreno constituida como servidumbre.

Recientemente el vecino colindante nos ha informado que pretende construir un acceso a su finca en ese terreno de servidumbre (propiedad de ambos colindantes). Nuestra consulta es justo esa, que creemos que al ser un terreno cuyo uso es de servidumbre no se puede construir ni edificar nada en él. No queremos evitar que dicho vecino construya nada, sino asegurarnos que es algo del todo legal.

Añadir que existe un acuerdo privado mutuo y por escrito sobre dicho terreno colindante de ambos propietarios, en el que expone que el fin de dicho terreno es para servidumbre de paso de aguas, de luces y de desagüe.