Separación con hijos y distintas ciudades

Mi pareja quiere separarse. Tenemos un hijo de tres años. Al separarnos he pensado volver a mi ciudad ya que allí tengo familia y amigas que me ayudarán. La niña vivirá conmigo a casi 400 km del padre. Dice el padre que él vendría un fin de semana sí, uno no, para recoger al niño y llevársela a su ciudad los viernes y devolverla los domingos. ¿Puedo negarme a eso ya que el niño es muy pequeño para hacer tantos kilómetros con tanta frecuencia para periodos tan cortos de tiempo? ¿Qué tenga que verlo en la ciudad en la que residiremos y solo pueda trasladarlo cuando sean periodos más largos tipo unas vacaciones?