No me deja superarlo

Hola cristinax,
Llevo un año con mi novio, hace seis meses me enteré de que cuándo empezábamos él se acostó con una "colega" suya. Aunque me parece despreciable que lo hiciera y sobretodo que no me lo contase, valoré la situación y decidí continuar, me costó un poco superarlo, pero ahora vivimos juntos y estamos muy bien.
Lo que ha vuelto a hacer que yo recordara lo que pasó es que hace unas semanas mi novio quedó con unos amigos para comer entre ellos estaba esa tía y a última hora (es cierto, yo estaba delante cuando le avisaron) sus amigos anularon la comida por un trabajo que debían hacer y él decidió irse a comer con ella, me dijo que fuera, pero yo no podía por trabajo.
Me sentó un poco mal, él mismo se dio cuenta de que no es muy lógico que lo hizo y en cuanto acabaron de comer se pasó por mi trabajo a verme, más tarde en casa hablé con él y acabamos discutiendo aunque al día siguiente lo arreglamos.
Cuándo que él ha entendido mi postura, pasan unos días y me dice que quiere hacer una comida en casa y que quiere invitar a ésta chica y a su novio. Yo entiendo que no hay nada, que ésta tía tiene novio y que para él lo que pasó está muerto y enterrado como suele decir... ¿pero no se para a pensar diez segundos en lo que yo tuve que superar y en que puede dolerme ver a esa chica en mi casa?
Ya no sé como explicárselo sin tener que nombrarla cada vez (estoy harta de que forme parte de nuestra relación) ¿Cómo se lo explico? ¿Cómo hago que entienda que no quiero tener relación con ella y que no puedo superar algo así si me la mete en mi casa? ¿Es extraño lo que estoy diciendo? ¿Debería hacer como si nada hubiera pasado?
A veces pienso que si no le hago yo lo mismo que él me hizo no entenderá lo que se siente.. Dame un consejo por favor