Ayuda con relación de pareja y problemas de custodia de nuestra niña después de separación

Hola,
Estuve viviendo en unión libre con un hombre por 6 años y tenemos una hija de 4 años de edad, hace tres meses yo le encontré un mensaje de una mujer y cuando lo confronte él me dijo que era de alguien con quien tenía una relación sin importancia, pero que de todos modos quería que nos separáramos por que en los últimos meses peleábamos mucho por cuestiones económicas y por que él no tenia trabajo, y que él quería un tiempo para hacer cosas el solo y poner orden en su vida laboral y económica.
Al mes y medio de que se fue de la casa, hablamos y me dijo que estaba muy confundido por que seguía sintiendo lo mismo por mi, pero como se había involucrado en una relación, ya no sabía que es lo que quería, que 50% de él quiere estar solo y el otro 50% no sabe si quiere estar conmigo, con ella o con otra persona, cuando me dijo esto le dije que yo no podía sostener una situación a así y que por mi estaban las cosas terminadas y que sacará todas sus cosas de mi casa. A partir de ahí su relación fue más abierta y me enteré que desde que empezó, 2 meses antes de salirse de mi casa, estaba fomentada y apoyada por la familia de mi ex, ya que ella es una ex novia de él de hace tiempo y es amiga de ellos.
Lo que a mi más me preocupa es que cuando veo a mi ex por cuestiones de mi hija, me sigue diciendo que él sigue confundido, que no está contento y que ahora quiere probar la experiencia de estar en esta relación, pero que sigue con la idea de estar solo un tiempo, y más adelante tratar de recuperar la relación conmigo, me dice frente a mi niña, que mi hija y yo somos el amor de su vida y siempre trata de tener contacto físico conmigo, incluso me trae regalos. Pero por otro lado involicra a mi hija con su nueva pareja, mi ex suegra me dice que ella no esta totalmente de acuerdo con lo que esta pasando y que me apoya, que yo debo tener paciencia, pero que debo permitir que mi hija conviva con él y su nueva pareja y yo llevarme bien con ellos.
A mi me preocupa mucho lo que esto le pueda afectar a mi hija por que hay semanas completas en las que él no la llama para nada ni se interesa en saber como está, pero cuando la ve la lleva a la casa de su nueva pareja y hace que conviva con ella y su familia, yo no se que debo hacer por que mi hija se pone muy triste cuando su papá no la llama ni la busca y me dice que elo extraña mucho y siento que también está muy confundida por que no entiende que está pasando, ve a su papá conmigo, luego ni la llama y luego lo ve con su "amiga".
Ojalá me puedan orientar, por qué no sé si debo darle tiempo a él, que actitud debo tomar, cómo debo manejar la situación con mi hija, si debo permitir que se lleve a la niña, o solo que la vea en mi casa, en fin me siento muy confundida y angustiada.
Gracias por su ayuda