¿Puede mi ex pareja tener en mi domicilio hasta que se resuelva la separación a su madre viviendo con ella y mi hija?

Me estoy separando de mi pareja, con la que no tengo ningún vínculo ni de matrimonio ni pareja de hecho. Hemos firmado un convenio no temporal y no vinculante en el que se ha dejado reflejado que mi hija y ella tendrán el uso y disfrute de la vivienda, de propiedad mia y privativa, hasta que se solucione la situación.

Su madre la abuela que es de Madrid, nosotros vivimos en Bilbao, se ha trasladado a mi domicilio para estar con ella y la niña y apoyarla.

¿Puedo reclamar que la madre de mi ex abandone el domicilio al reflejar el convenio que el uso y disfrute corresponde sólo a madre e hija?

¿Qué es lo que se puede entender como uso y disfrute, es decir, cuanto tiempo es considerado como una mera visita o pasa a ser uso de la misma?