Mi novio me ha sido infiel y tenemos problemas en nuestra relación sentimental y sexual

Hola como esta, espero no molestar, solo que me encuentro en una situación que no se como resolver.
Mi situación es esta: empecé a salir digamos con un chico, que es compañero de la universidad, el tiene novia, todo empezó solo por atracción física y yo tenia todo muy claro, bah hasta el día de hoy tengo claro de que nunca podría conformar algo serio con el, porque se que es un infiel. El hecho es que nos vemos muy seguido como compañeros, vamos a congresos y eso... Y compartimos momentos como de "amistad" y luego clandestinamente nos vemos. Cuando nos vemos, es raro, es más bien pasión lo que tenemos, pero el a veces me dice cosas como que soy fría que no le demuestro cariño, y yo le explico que no o hago por la situación que usted comprenderá... Supongo que pongo barreras para no engancharme, creo que es lo más correcto. El fin de semana fuimos a un congreso, y el me pasaba mirando, y hacíamos cosas juntos, con todo el resto del grupo obvio, y me mandaba sms diciendo "que linda muchacha", "no me vas a dar bola" "que si solo me interesaba eso" como diciendo que solo me inrteresa lo sexual... Yo no entiendo porque dice esas cosas, ya es la segunda ves que me pregunta si solo me interesa lo sexual. En la noche hubo baile en el congreso, y es raro, porque saca a bailar a todas mis compañeras menos a mi! Me parece re pendejo, no creo que la gente se de cuenta que anda conmigo porque bailemos. Al final me pregunto porque no le contestaba los sms, el de "que linda muchacha" yo le dije que no me había preguntado nada! Y se rio, me dijo que estaba molido que se iba a dormir, si no quería ir con el, yo me rei y no le conteste en realidad. Al rato que el estaba bailado con una loca, se fue, y después todo el mundo empezó a comentar que se habían ido juntos! Y ta, yo me re enoje! No se porque pero creo que no es normal que me enoje, entonces corte por lo sano, le dije que me embolaba, le pregunte si me había cambiado por otra, le dije que todo el mundo comentaba que se había ido con la chica y se re calentó, que la gente era una chusma, que el no tenia razón para mentirme a mi... Y ta yo no soporte los comentarios, y hoy le escribí diciendo que mejor volvíamos a ser compañeros nomas, le encaje de excusa que era porque no quería estar en chumerios, y me dijo "que lastima que te pongas terca, no tengo porque mentirte" que "que lastima que todo quedara mal así", y bueno ta, el hecho es que me siento rara...
No se... Supongo que pensé que capaz lo podía enamorar... Se que suena patético, aparte el tiene novia! Pero bueno...
Ahora que se me fue el enojo me pregunto si hice bien al cortarlo, el me dijo que respetaba mi elección y que ta no me iba a joder más,
El es una persona rara, yo creo que es una mezcla de narcisista y histriónico, eso lo hace muy atractivo, siempre me busca para pelearme, me molesta diciendo que soy guerrillera, y esas cosas, bien de niño supongo, hace años que estaba el atrás mio, ahora se dio que estuvimos porque hace un tiempo que deje con mi novio y le di bola.
Bueno no se que más decirle, ¿me gustaría saber que opina acerca de si cree que hice bien? Y si cree que una persona así narcisista, ¿infiel puede enamorarse?
Gracias!