¿Por qué me siento molesta si mi ex novio sale con otras chicas si yo tengo novio?

Llevo dos meses con alguien con quien me gusta estar y quien me da mucho cariño. Antes de iniciar esta relación con estuve unos 6 meses con un hombre casado. Él sabe que ahora estoy con alguien, pero no obstante quiere seguir viéndome. Aún hablamos mucho por teléfono y siempre me pregunta cuándo nos vemos. Hoy le dije que no quiero verlo porque no me sentiría bien engañando a mi pareja. Después de esto se puso muy corto y distante. Le volví a llamar y dije que podíamos quedar a tomar algo y hablar. Me contestó que ya no puede porque ha quedado ya con otra chica ya que yo no quería verlo. Me siento muy molesta porque él me manda mensajes diciendo que me quiere etc y me hace sentirme confusa. Se lo he dicho y me dijo que él quiere estar conmigo, pero al decirle que no se ha cabreado y después le llamó esta chica y ha quedado con ella. Me dijo que otro día podemos quedar y hablar tranquilamente cuando se nos haya pasado el cabreo. No se ni por qué le doy vueltas al tema porque estoy muy bien con mi pareja, pero me molesta que intenta calentarme la cabeza diciéndome cosas como que me quiere mientras que solamente quiere acostarse conmigo y si yo no quiero otra también le vale. Cuando se lo dije me dijo que no es así. Qué si yo quiero autoconvencerme de esto que bien. ¿Por qué no me dice las cosas cómo son y ya está? ¿Y por qué me siento molesta al saber que ha quedado con otra si yo he sido la que no quiso quedar con él porque no quiero poner en peligro mi relación? Mi pareja está al tanto de la relación que he tenido con este hombre y sabe que me sigue llamando, no quiero ocultarle nada.
Espero que me puedas decir cómo actúo mejor para no sentirme mal por esto. Yo quisiera mantener una amistad con él, pero no sé si será posible.