¿Qué puedo hacer para que mi pareja no me deje por alguien más joven que yo?

Hola.
Escribo por que realmente necesito ayuda. Tengo una relación con un hombre 4 años menor que yo el tiene 27. Estamos juntos hace 6 años y tenemos dos hijos. Hemos tenido muchos problemas a raíz que él buscaba a su ex novia desde que comenzamos a salir, lo hablamos y él siempre de dijo que me amaba, y yo le creía. Se calmaban un poco las cosas pero volvía a tener contacto con ella, o con otra mujer que no dejaba de mandarle mensajes de texto y le llamaba. Hasta que un día lo enfrente por todo esto, incluso le pedí que se fuera de la casa, y así lo hizo por un corto tiempo. Volvimos a hablar y de igual manera me dijo que me amaba, y trate que que continuáramos sin problemas, pero no he podido olvidar, siento que me estoy haciendo muy celosa, y es que el no deja de hacer estas, cosas me refiero a que ahora es otra mujer la que lo busca, es una compañera de trabajo, le pedí que fuera sincero conmigo, y que me diga si ya no quiere que sigamos juntos, lo voy a entender, pero el me niega que realmente tenga algo que ver con esa mujer, ¿pero incluso cuando nos fuimos de vacaciones ella le mando un mensaje y el se molesto porque yo lo vi y porque incluso le marque para que entonces fuera ella quien me dijera que pasa?... Y lo que me contesto es que le preguntara a él, y me colgó. Cuando apareció esta mujer (tiene 22 años) fue por que un día le envío un mensaje de texto y yo se lo conteste haciéndome pasar por él y claro para saber si me daba alguna pista de que andaban, y le dije que no molestara que no iba a dejar a mi familia por ella, y lo que contesto fue que se la iba a pagar por haberla ilusionado, y en esa ocasión él me dijo que si le había hecho creer que le interesaba pero que en realidad no tiene ningún interés por ella, incluso me lo juro. Pero lo raro es que después ella me mando un mensaje a mi cel. Insultándome y se lo dije a él y no dijo nada solo se me quedaba viendo pero sin decir nada, obviamente yo me enoje muchísimo, y le pedí una prueba de que realmente no tiene nada que ver con ella y ahora me salio con que ya no trabaja ahí.
Me siento muy mal, no se si la diferencia de edad que existe entre nosotros influya mucho, aunque en este momento siento que mi autoestima esa mal porque me siento vieja para él y por eso busca mujeres más jóvenes. O sera que de verdad me ha sido infiel...
Por favor díganme que debo hacer porque no puedo estar tranquila, y tengo que estar bien por mis hijos, y si esta relación no debe continuar quiero saberlo. Gracias.