Contacto con hijos de divorcio

El caso que comento es el siguiente. Estoy actualmente conviviendo con una pareja que tiene dos hijos con su antiguo marido. El tema está en que la custodia la tiene ella y los niños conviven con nosotros durante todo el año, pero al padre le corresponden en vacaciones durante un mes y medio. Durante ese periodo están en el domicilio de los abuelos paternos que es donde reside el padre.
Mi familia personal se lleva muy bien con los niños, y ahora que estaban con el padre yo mismo les llamo y mi familia también alguna vez. El caso es que nos hemos encontrado conque tanto a la madre como a la abuela como a mi y a mi familia el padre nos dijo que solo podíamos llamar a los niños cuando estuvieran en casa de sus padres. Ya que el resto del día están con una niñera de la que se ha negado proporcionarnos el teléfono de contacto.
En varias ocasiones ha sucedido que hemos llamado, a la misma madre incluida en que se ha contestado que los niños no estaban y que donde estaban no se sabían el teléfono, cosa que sabíamos que no era cierta ya que en un caso en concreto era que estaban cenando en casa de una tía, y la abuela paterna nos dijo que no se sabía el número de teléfono, cosa que ciertamente suena bastante absurda.
Ante esto mi pareja, la madre de los niños optó por comprar un móvil especial de niños el cual solo le deja recibir llamadas de números determinados y llamar a determinados números. Se lo dio a la niña.
Ahora el padre no le deja llevarse el móvil a ninguna parte y cuando está en casa solo le deja cogerlo si está el presento o sus padres. La niña tiene prohibido acceder al móvil.
Se ha intentado hablar con él pero se niega a que lo lleve ni a dar números donde poder localizar a los niños. Dice que sólo se podrá hablar con ellos cuando estén en casa de sus padres y con ellos presentes.
A él siempre le hemos dado números para que pudiera localizar a los niños si es que no estaban en ese momento con nosotros. Tiene mi número de móvil por si quiere hablar con los niños y estamos fuera, y el de mis padres ya que alguna vez los niños están en la casa de ellos.
¿Lo qué está haciendo es legal? ¿Se podría plantear algún tipo de queja al juzgado o algo similar para que le permita llevar el móvil?