Vecino ingresa a mi propiedad sin permiso

Una persona está construyendo su casa en el terreno vecino. El problema es que esa persona me pidió permiso para entrar por mi patio para dejar sus materiales y para que entren los albañiles, yo le dije que no porque no quería tener albañiles en mi patio entrando a cada rato. El tipo pareció entender pero ahora a cada rato los veo (al dueño del terreno y a los albañiles) pasarse a mi patio saltando el alambrado como si nada. No puedo salir al patio trasero tranquila porque están ellos, lo único que falta es que se entren a mi casa ¿Qué puedo hacer al respecto? Yo no les di permiso.