Como se si mi pareja es gay¡?

Hola, intentare ser breve, tengo una relacion de 5 años con mi pareja, actualemnte estamos muy bien no solo afectivamente sino sexualmente, siento que a el le sigue atrayendo mi cuerpo, se excita y tiene deseos. El punto es este: Mi novio tiene una relacion con una persona mayor de aprox 40 años, esta persona es de dinero y es gay en su totalidad. Hace tiempo escuche unos rumores de que esta persona decia que mi pareja era su pareja, no dude en preguntarle a mi novio y me lo nego totalmente hasta con un gesto de enojo hacia mi por mi desconfianza y duda en el. Pero este señor le da dinero, lo invita de viaje y le invita todo el alcohol q quieran consumir, por su posicion economica no solo va mi novio si no como otros 5 hombre mas que siempre andan con este señor. El punto es mi pareja dice que solo lo hace por sacarle dinero y que le invite todo el trago q quiera hasta me afirma que este señor es un pendejo y se burla de el enfrente de mi.
Me da miedo porque no se que pensar, en realidad sera solo eso o habra algo mas? Como poder enfrentarlo?
me preocupa porque dicen q con dinero baila el perro y porq nada es gratis en esta vida. Intento confiar en mi pareja lo conosco y no ha cambiado conmigo en ningun motivo pero ese tipo de situacion me hace pensar si, habra sido cierto ese rumor que circulaba.
Agradesco tu sincera ayuda.!