Puede el padre de mi hija impedir llevármela a radicar a otra ciudad

Me separe del papa de mi hija hace tres años, actualmente vivo en unión libre con mi pareja actual llevando una relación muy buena en la cual mi hija se a acoplado muy bien, el punto aquí que mi pareja tiene casa propia en guadalajara y aquí en Querétaro nos vemos en la necesidad de estar pagando renta debido a que el padre de mi hija no permite me la lleve, cabe destacar que intentamos mudarnos aquí en Querétaro a un lugar más económico y un poco más retirado a lo cual también se negó alegando que le seria difícil ver a la niña me pone muchos obstáculos lo cual me crea problemas, cabe mencionar que el cuenta con un trabajo en el cual viaja constantemente con el no me case y no hay documento alguno en cuanto a visitas y pensión de la niña