Cómo salir adelante en mi 2 matrimonio

Hola.
Tengo 27 años, un hijo de 8 años de una relación anterior y vivo actualmente con un hombre de 38 años hace casi 2 años, el tiene una hija de 13 años de otra relación. Actualmente tenemos una bebé de 10 meses y nos amamos muchísimo. Nuestra relación sexual funciona de maravilla, pues en nuestras relaciones pasadas no era así para ambos. Pero él es casado por la iglesia y yo simplemente viví en unión libre. Esta situación me atormenta, por que socialmente nuestra relación no debería ser y por que no se ha podido separar por falta de dinero. Él me dice que no le preste atención a eso, que él me demostró que me ama eligiendome a mí y que a él no le interesa nada de la iglesia. Que lo hizo por compromiso por que tenía una hija y por que nunca pensó en el futuro de esa relación y lo que le costaría. Pero esto se ha convertido en una pesadilla para nuestra relación por que esa mujer no trabaja y nosotros dos sí y como ella tiene a la niña, él se compadece enviándole dinero que supuestamente es para la niña, pero que ella también utiliza en gastos que no nos corresponden, pero él dice que no quiere que su hija pase hambre. Yo estoy de acuerdo con la plata de la niña pero me disgusto cada vez que ella lo llama para pedirle más dinero que por que no le alcanza. Económicamente nos sostenemos en este momento por que empezar es difícil y cabe agregar que le dejó la casa a ella que para la niña, pero a veces nosotros dejamos de comprar cosas que necesitamos y yo dejo de pagar mis obligaciones por ayudar con los gastos. Yo le pregunto que si es que él siente que tiene todavía obligación con ella o siente pesar por ella y me dice que no, que es sólo por la niña, pero esta situación me entristece mucho por que siento que es difícil salir adelante así y se lo hago saber. Yo por un lado me siento feliz por que tengo a mi lado al hombre que quise tener toda la vida y una familia maravillosa con mis hijos, pero por el otro me atormenta pensar que ella va a vivir a costillas nuestras siempre por que no se le da la gana de hacer nada con el cuento que no consigue trabajo. ¿Qué Hago?