¿Qué problema puedo tener si me voy al extranjero y dejo a mi hija con mi ex-pareja?

Tengo una hija de dos años la cual vive con mi ex-pareja, me ha salido un trabajo en Sudamérica y su madre me dice que si me voy le tengo que pasar mas pensión de la que le paso actualmente.

la niña me la quedo un fin de semana si y otro no y todos los martes, a partir de ahora solo la vería cada seis meses.

¿qué problema puedo tener si no paso mas pensión y me voy sin seguir este régimen de visitas ya que no tenemos ningún acuerdo firmado ni de pensión ni de visitas lo único que tenemos es el libro de familia.