Me molesta que él coma fuera frecuentemente

Hola, llevo 9 años con mi novio, no vivimos juntos aun, él vive a 15 minutos de donde yo y a veces no nos vemos tan a menudo como antes por pura pereza. La cosa es que su mejor amigo que vive con su novia lo invita a comer frecuentemente y eso me molesta pero realmente no llego a saber si son celos o envidia o otra cosa. Evidentemente con los amigos los hombres son diferentes que con las novias pero no puedo evitar también ver que pasa más tiempo con él que conmigo. Yo se que él está a gusto en casa de esta pareja ya que pasa muchas horas siempre que puede, también se ha dado el caso de que he estado a dos pasos de donde vive esta pareja y cuando ha invitado a mi novio a comer a mi también me podría haber invitado y no lo ha hecho y eso me ha molestado, la novia es bastante amiga mía pero tampoco se ha percatado de la opción de invitarme, solo una vez lo hizo. Quedan para jugar a la consola y de paso le dice que se quede, él tampoco dice que no y ya se queda. Quiero especificar que desde hace unos meses lo hace más a menudo pues unas 2 veces por semana o 3. Ayer no quedamos por pereza y por que se había levantado tarde y tal y el amigo lo llamó para que le ayudara con algo, pues ya lo invitó a cenar y se quedó con ellos.
Yo no descarto para nada de que el problema sea mio pero mi pregunta es, si soy yo, ¿cómo hago para no ser así? Es fácil decir de aguantarse pero es que yo no quiero tener esos sentimientos de celos o lo que sea y me salen solos. Es un tema que como no se solucione habrá bronca a menudo y realmente no creo que aguantarme sea lo mejor por que lo mismo a la larga yo me sentiría peor. ¿Qué puedo hacer?