¿Mi novio trato de contactar a su ex ya no confío en el debo alejarme?

Desde hace 3 años tengo una relación con un hombre divorciado el tiene una nena hermosa a la que quiero y yo también soy divorciada y tengo un hijo, los niños se llevan muy bien, desde el principio tuve algunos disgustos con el por que se la pasaba peleando con su ex por teléfono enfrente de mi, y a ella le decía que yo era una amiga y el me decía que no quería exponerme con su ex y que ella no tenía que saber nada. Una vez peleamos muy fuerte y el le mando un mensaje a su ex con un vídeo ( que también me mandó a mí) que trataba sobre algo sobre la hombría y le puso a su ex que ahora ya sabía por que no había Sido hombre para ella, yo lo vi y me desmorone, paso el tiempo y el también cambio ya ponía en su lugar a su ex por que yo le puse un ultimátum y le puso un hasta aquí. Hace unos meses apareció una mujer que ahora se que tuvo una aventura con mi novio estando el casado y ella también era casada y con una niña en ese entonces, ellos rompieron su desliz y ella se quedó con su marido y tuvo otra bebe, pero hace unos meses me enteré que se divorcio por que el marido le puso el cuerno y ella no tardó en buscar a mi novio después de 5 años, el le dijo que estaba conmigo y que no lo volviera a buscar, pero en una discusión fuerte que tuvimos, el busco a una amiga de esta mujer para pedirle su número telefónico el me jura que si lo pidió pero que no la buscó ni la ha buscado y se ofende y no entiende por que no confío en el y el dolor que me causo al haber hecho eso para el su excusa es no la busque si pedí el contacto pero lo borré. He buscado en su cel, en su correo he stalkeado a esta mujer y eso me está matando decidí romper con el y le dije que si quería seguir su curiosidad adelante que no lo quería tener conmigo por compromiso. El dice que le duele que no confíe en el. ¿Pero ya he tratado y no puedo me duele mucho estoy exagerando?