¿Debería dejar a mi marido que nunca me hace caso y me ha sido infiel?

Hola quisiera me dieras un consejo, tengo 20 años de casada, dentro de esos años ha habido de todo, incluso hubo una infidelidad de su parte, que por supuesto le dije e incluso le dije que se fuera y nunca lo hizo, el por muchos años se dedico a su trabajo como loco, no había cosa más importante que eso, e incluso nos dejaba mucho tiempo a mis hijas y a mi, sábados, domingos, semana de viaje, junto con esto tenia dos amigos que les gustaba mucho salir con chavas y también a eso se dedico, de ahí me di cuenta que tenia una relación con alguien, nunca se dio cuenta si comíamos o no, porque sabia que yo trabajo y tengo mi dinerito, bueno junto con esto muchas cosas más, alguna vez me dijo que el ya no quería tener hijos, pero que yo fui la necia, porque tiene dos en otra relación anterior. Algo fuerte ese comentario, digo yo no soy monedita de oro, y últimamente me cargo un genio por la meno que que barbaridad. Pero nunca lo he ofendido en ese sentido y e tratado de apoyarlo en sus decisiones y hasta económicamente.
Mis padres me apoyaron cuando los necesite, nunca supieron de sus andadas, pero cuando alguna niña se me enfermaba venían o se las llevaba a que me hicieran el favor de cuidarla, bueno tu sabes como ayudan los padres.
Todo esto te lo cuento como antecedente y creí había cerrado ese baúl, pero veo que no, porque actualmente hemos discutido mucho, por diferentes cosas de las hijas. Y la otra noche me salió con la puntada que yo no estaba cuidando a mi familia, que le dedico más tiempo a mi madre que a mi familia, y que el me lo estaba diciendo para que después no dijera que no me lo aviso, porque llegaba yo muy tarde, llego tarde porque dejo a mis hijas con su abuela, ahí nos hacen el favor de hacernos de comer eso a mi me ayuda mucho, pues trabajo tiempo completo y salgo de la oficina a las 7:30 de la noche o a las 8. Y esto porque la hija pequeña no se quiere levantar y también le hecho un ojo a mi madre ya de 85 años, le pongo su pijama y salgo de ahí a las 9:30 esperando llegue la señora que duerme ahí.
En fin la verdad, yo veo una ruptura grave, y lo peor de todo es que me hace sentir que yo soy la culpable de esta ruptura, que me aconsejas hacer gracias por tu atención y disculpa la cartita.