¿Inseguridad?

Hola doctora! Espero que me pueda orientar con un problema que tal vez pueda parecer muy simple o normal pero la verdad que a mi me esta afectando mucho y creo que necesito un punto de vista profesional, mi problema es el siguiente:
Tengo 20 años y mi novio 23, tenemos ya casi 5 años de novios y me la paso muy bien con el cuando va a visitarme a mi casa, pero NO me gusta a salir con el, esto me pasa desde hace unos dos o tres años y es debido a que cuando salimos a alguna parte y pasa alguna muchacha bonita el se le queda viendo y casi siempre le da una tocesita (como de nervios o para disimular), y a mi cada vez que pasa esto la verdad que me dan ganas de terminar con el pues siento que el quisiera tener una novia como a la que se le quedo viendo, pero ya después que llegamos a la casa al rato se me pasa porque me trata muy bien,
Y esto se repite cada vez que salimos, hasta cuando vamos a misa, el es muy inquieto y siempre se la pasa volteando para todos lados y yo siento que nomas anda viendo a las demás muchachas.
Por esto que me pasa yo solo salgo a fiestas con mis amigas, y nunca me gusta invitarlo a el, porque yo se que nomas me la voy a pasar viendo a ver a quien se le queda viendo y que no voy a disfrutar el rato, pero el se enoja porque yo nunca quiero salir con el.
Yo he hablado con el de esto, pero lo único que me dice que no sabe que hacer para no me sienta así, y me ha dicho que yo solo estoy buscando un pretexto para terminar la relación, pero la verdad yo no quisiera terminar pues como le digo cuando estamos solos nos la pasamos muy bien, pero ya que salimos siempre digo que ahora si voy a terminar con el, pues creo que debería pasármela a gusto con el en cualquier lugar, no importando que este la miss universo enseguida de el.
He pensado que esto que me pasa tal ves es pura inseguirad mía, o baja autoestima, no se, porque esto solo me pasa cuando estoy con el, y no con otras personas, pero aunque soy delgada ya tengo un año yendo al gimnasio pues he leído que el hacer ejercicio y cuidar el cuerpo ayuda a sentirse más segura.
Bueno, le agradezco mucho su tiempo que se que ha de ser valioso y espero que me pueda orientar, pues son muchos años de sentirme mal, MUCHAS GRACIAS!