Mi pareja tiene una hija y por ende una ex.

Al iniciar la relación, el me planteó la situación y que habríamos de continuar siempre y cuando yo aceptara que él tuviera una hija, yo no tuve ningún problema de continuar, pero el problema no es la hija, sino la ex, quien lo busca permanentemente y toda excusa sirve para estar en permanente contacto con el, nuestra relación ya lleva 8 mesos, periodo que se interrumpió más o menos a los 5 porque el estaba confundido y quiso ver si resultaba con la ex, no resulto y volvió, además de todo esto que ya resulta bastante agobiante, también me engaño una vez con una chica, además el tiene una muy buena relación con la madre pero ella esta enferma, muy enferma, y eso lo pone muy mal a el, hasta hace poco no tenia trabajo y lo habían echado de la casa así que empezamos a vivir juntos y por ende yo lo mantenía.
Esperaba que al conseguir trabajo se sintiera un poco más seguro, acomodara un poo más sus ideas y supiera lo que quiere con migo, y de hacia donde vamos, porque yo si lo estoy, es más nunca dude de lo que quiero con él, pero no fue así siempre encuentra algo de que lamentarse y no disfruta de lo bueno que le esta pasando, que en este momento es tener trabajo.
En estos últimos días la ex lo empezó a buscar cada vez más, y yo le dije que el no tenia que sentirse obligado de continuar con migo, no tenia que sentirse en deuda y por eso seguir conmigo, que cuando el quisiera podía irse que el tenia que estar donde lo deseaba realmente, y me dijo que quería estar con migo.
Entonce lo que le pregunte fue porque, si era porque yo le daba seguridad o porque me quería, y me dijo porque me quería, el tema esta es que no me negó que no volvería a confundirse con ella y que la única razón por la que no esta con la ex es porque cambiaron muchas cosas pero no porque no la quiera, porque sabe que no resultaría y quiere intentarlo con migo, ¿Se qué esto no es normal, pero realmente no se que hacer, o si pero tengo miedo, entonces DEBO ALEJARME DE EL?