Lo he dejado con mi pareja, quiere tener libertad para tener relaciones con otras mujeres, no me fío

¿Hola, qué tal? Muchas gracias por escucharme. Bueno es una historia larga pero por algún sitio habrá que empezar. Hace ya año y medio que conocí a un chico, el 43 y yo 36. Yo terminaba de salir de una relación y no quería nada serio y así quedamos, el, según descubrí después, lleva tiempo sin tener una relación seria. El es divorciado, se divorcio hace diez años de la que fue su primera novia y después de trece años de divorciaron, el dice que eran felices pero que empezó a tener la necesidad de estar solo y se separo. A raíz de ahí ha ido de mujer en mujer y de juerga en juerga viviendo la vida. Nuestra relación ha sido una relación de muchos altos y bajos pero nunca sin estar más de tres días separados, normalmente era yo la que daba el primer paso aunque últimamente era el. Hemos compartido muchas cosas, nos hemos ido de viaje, solemos salir los fines de semana juntos, sin escondernos, me ha presentado a su familia, compañeros de trabajo y aunque no nos vemos todos los días, si que solemos hablar todos los días. Todo el mundo dice que nunca le habían visto con nadie como conmigo. Pero el no deja de decirme que no tenemos una relación, que el puede tener relaciones con otras chicas... Y que no puede quererme como yo espero... Pero sin embargo me demuestra otra cosa, peleamos como parejas normales... En definitiva sino fuera por tantas veces que el me repite que no tenemos una relación no sentiría que no la tenemos... Cuando hemos peleado lo he visto mal e incluso a llorado.. Me da explicaciones de lo que hace y con quien va y eso que yo no se las pido... Y siempre ha hecho por mejorar lo que yo le decía que no me gustaba... Pero llega un momento en que una mujer debe de valorarse y yo creo en el respeto. Hace unos días hable con el y le dije que no quería estar con el ya que yo creía en la fidelidad y el me contesto que no había estado con ninguna mujer desde que estaba conmigo pero que no estaba seguro de poder serme fiel y no quería engañarme... Al mismo tiempo me daba motivos para seguir estando juntos... Y lo peor es que en el fondo tengo el sentimiento de que el me quiere a mi más que yo a el...
Pero la verdad es que el tiempo va pasando y como mujer debo de respetarme a mi misma... Pero no se si he hecho lo correcto... Ya que si es cierto que el es muy reservado con la gente y yo formo parte de su mundo y he conseguido que se fuera abriendo, poco a poco, con mucha paciencia... Pero la verdad es que, aunque lo hecho de menos yo no tengo que educar a nadie y aquí somos todos adultos. Pero siempre queda la duda... ¿debería de haber tenido más paciencia y esperar? ¿Crees qué el reaccionara? No entiendo... Ni yo ni la gente que lo conoce su comportamiento... A nadie le cabe ninguna duda de que yo le importo... Y porque el reacciona así... ¿qué hago?