Recuerdos no me dejan seguir adelante con mi pareja

Creo que este problemas es mas psicológico, pero resulta que con mi pareja llevamos 4 años de relación y me ha hablado de matrimonio, y cada vez que hablamos de ese tema se vienen a mi cabeza recuerdos de un ex novio que tuve, en realidad no fue una relación estable, quiero decir nunca tuvo nombre pero fue como una relación imposible de establecer, hasta creo que nunca terminó. No me gusta sentir esto porque creo que mi relación actual sufre con este recuerdo. Por favor díganme por que me sucede esto, yo quiero avanzar con él pero este recuerdo no me deja.