¿Debo aceptar y continuar con esta relación?

Tengo un novio hace 2 meses, desde el principio note que había un misterio en el. Sabia que tenia un buen corazón pero siempre había algo que no le permitía sacar lo bueno de el y era un poco egoísta. Hace una semana fuimos de vacaciones a NY en esos días como estuvimos solo hubo una conexión especial y se empezaron a sentir sentimientos más fuertes para ambos lo se porque el me lo dijo, me dijo que en esos días se dio cuenta que quería lo de nosotros para siempre. El problema es que hace 3 días me confeso un secreto de su niñez que nunk le había contado a nadie. Sus razones para contarlo ahora fueron que se dio cuenta de lo especial que soy y no quiere hacerme daño. Me confeso que sus padres lo abandonaron y a los 14 años conoció a una muchacha y a sus padre los cuales le brindaron un hogar porque el no tenia donde vivir. No paso ni un año antes de que el terminara de novio con la muchacha y luego de varios meses ella lo engaño, según el desde entonces no puede confiar en nadie y además con lo que le hicieron sus padres ha crecido siendo una persona que solo piensa en el y un poco seco. El problema es que me confenso que luego de eso como no tenia otra opción sus ex suegros le permitieron seguir viviendo allí, la ex se mudo con su novio a vivir y el aun vive allí, el me dice que el y su ex terminaron en buenos términos así que son como mejores amigos. El me dijo ya no quería ser igual, que quería preocuparse por alguien, amar a alguien y ser amado y que conmigo tenia todo eso. Yo tengo un adjustment disorder lo que significa que los cambios y situaciones de stress en mi vida me causan mucho stress. Yo soy una persona que piensa mucho y no soy muy buena confiando en los demás. Nosotros hablamos y decidimos que en verano el se transferiría a una universidad más cerca para el poder venir a vivir conmigo. El problema es que como soy una persona que lo piensa todo no se si lo correcto seria creerle y seguir con el o ya de una vez dejarlo porque a mi se me hace difícil no pensar en cosas malas como por ejemplo que pase algo con su ex lo cual pienso(y onjala no me equivoque) que es algo que cualquier persona temería. Necesito un consejo experto porque de verdad estoy pasando por un mal momento porque yo lo amo mucho pero no se si es correcto aceptar todo esto.