Régimen de visitas de un bebe

Tengo un bebe de 6 meses, he decidido dejar a su padre ya que la convivencia es imposible, yo resido en barcelona y se iría a vivir a castellón, mi pregunta es si tengo que dejar viajar al bebe para que lo vea, yo no me opongo a que lo vea, pero no me gustaría que el bebe este a 400 kilómetros y yo estoy en paro y no dispongo de medios para viajar, a todo esto comentar que el tampoco esta trabajando.
¿Me podría quitar al niño si lo dejo?, ¿Me obligarían a dejar al bebe fines de semana con el a 400kilometros de distancia del domicilio del bebe?