Soy gay o no? Aunque mi problema es mucho mayor

He pasado mucho años sintiendo atracción por los hombres. Sin embargo recuerdo que al iniciarse mi pubertad me daba asco el pensar en dos hombres sexualmente juntos. Sin embargo luego algo cambió y me empezaron a excitar los hombres. Me masturbaba pensando en hombres y excitándome con ellos. Cuando fantaseaba todo era maravilloso. Sentía que una relación con un hombre me haría sentirme querido y que era como algo maravilloso. Incluso creo que me enamoré de alguno, aunque no sé si era amor o las ansias que yo tenía de ser querido. Nunca tuve una relación masculina, sólo sexo.
Pero cuando esas fantasías se han hecho realidad no me ha gustado nunca, incluso puedo decir que me han dado asco, y como las buscaba yo me daba vergüenza en el mismo momento de realizarlas de decir:"lo siento me he equivocado, a mi esto no me gusta" y por ello siempre me he sentido violado.
Las mujeres me excitan también. Hoy en día me masturbo con ellas, sin embargo se me ha metido en la cabeza que como me gustan los hombres no puedo tener erecciones con ellas y cuando estoy con alguna no puedo pasar a nayores pues no paro de pensarlo y me da miedo.
No sé si tendrá que ver, pero mi padre que era alcohólico pegaba mucho y yo sentía que no me quería y siempre hasta hoy en día incluso, que ya paso los 40, me produce un pánico absoluto. Mi madre también me producía miedo porque daba muchas voces y siempre estaba enfadada. Además tengo un complejo tremendo de tener el pene pequeño.
El caso es que
E hoy en día sólo disfruto la masturbación que fantaseo con mujeres. Pero a la hora de la realizarlo físicamente, ni hombres ni mujeres. Los hombres ya no me excitan y con las mujeres siempre pienso que no puedo.
Para colmo hace poco que estoy saliendo con una chica que me gusta mucho, pero creo que como todo siga así tendré que dejarla porque comprendo que no la puedo hacer feliz, y no sé ni qué hacer ni qué decirle.
¿Qué hago? Por favor no se rían de mi que vivo un drama.