¿Debería dejar a mi novio más mayor que yo que se muestra distante y no me hace caso?

¿Hola gracias por leer mi pregunta
tengo aproximadamente 5 meses manteniendo esta relación yo tengo 24 años y el 39 años desde el principio supe que no seria una relación fácil ya que el tiene 3 hijos pequeños pero cuando le confesé mis sentimientos y el los acepto el vivía ya separado e su esposa así que creí que podíamos mantener una relación seria sin mentiras ... La verdad no esperaba nada de el solo amor ... La verdad es que la relación no e dio como yo espraba ... El se mostró indfernte ... Es más con decirle que ni siquiera hemos salido aúna cita como tal por que el siempre esta ocupado o siempre me cancela o peor aun me ha dejado plantada ... Yo he estado apunto de dejarlo pero cuando lo veo el actúa como si nada y me resulta difícil hablar del tema ... Cabe señalar que mantengo relaciones sexuales con el aunque estoy hablando de 4 veces desde que salgo con el ... Cuando yo lo cuestiono por su actitud ... El siempre me dice que acaso le estoy reclamando ... Le pregunto si realmente m quiere el resonde que si . Que si me ama y el dicho que si ... Que soy para el? El a respondido que una perona muy especial que soy importante para el por eso es que somos pareja ... Este ultimo mes a cambiado es aun más distante ya no me envía mensaje y si los envía solo es para responderme los muchos que le mando yo y eso apenas si lo contesta... Lo he visto lo menos... Hace poco me acabo de enterar de unchisme ... No se si sea cierto ... Pro ya sabes si el rio suena es que agua lleva ... Si anda ese rumor es porque algo de cierto hay ... El rumor dice que el mantuvo relaciones con una joven de 17 años y ella esta embarazada aprox 3 meses... El no me ha dicho nada no se si sepa del embarazo ... No se si sea cierto ... Pero si le encanjan ese bebe es porque algo tub que ver con esa niña ... Lo cierto es que me siento decepcionada, triste, enojada, engañada,, no se que pensar estoy preocupada ... El fue el primer hombre con el que e estado y no he usado condón las pocas veces que estuve con el por que no quiso usarlo dijo que el condón solo era para encuentro casuales y que con migo iva enserio de hecho empecé a usar el parche a petición de el .
Aun no lo cuestiono por lo de esta chica no se si lo va anegar ... Que debo hacer debo preguntarle ... Esperar a que el me lo diga ... Estaría mal que me convenza...
Yo creo que aun no se si odiaarlo o perdonarlo por que aun no escucho su respuesta ... Y tengo miedo .
Pido esta opinión ya que me siento muy confundida siento que soy una tonta que no sabe lo que quiere y tengo miedo de demostrarle que me esta doliendo no quiero darle el gusto es por eso que me lo guardo pro no quier explotar y hacer las cosas mal
Gracias agradecería sus respuestas