Cambiar convenio de divorcio por visitas

Estoy divorciada hace un año. ¿El convenio dice que martes y jueves los niños irán con su padre . Sin embargo son los abuelos los que se los llevan . Esto es legal? Quiero decir que la custodia es entre padre y madre. Mi tiempo con mis hijos me lo roba el padre como es normal. ¿Pero... Los abuelos? ¿Están viviendo ahora con el hijo y son ellos los que llevan y traen a los niños . Tengo alguna posibilidad de cambiar eso?