¿Falta de estima influye en la orientación sexuidad?

Hola, tengo esta gran duda que me aquejo desde mi vida adolescente, ahora tengo 26 y periódicamente me aparece en la cabeza la idea que soy gay, tuve en mi infancia y en mi temprana adolescencia acercamientos sexuales con chicos de mi edad solo nos tocamos y jugueteamos inocentemente sin ninguna clase de penetración o masturbación, de chico mi papa dejo de hablarme cuando me vio tocándonos con mi vecino, teníamos 7 años... En síntesis siento gran atracción por las mujeres pero asta ahora no he podido elegir a una y ver las estrellas con ella, osea enamorarnos, o simplemente tener relaciones con una preciosa mujer, cada vez que me lo propongo siempre termino desistiendo por pensar que soy poco para ella y tengo mucho miedo de que me hieran, hace poco me formule esta pregunta porque me siento completamente frustrado en este ámbito y un conocido que me empezó a cargar con que soy gay como cuando era chico y eso me hizo surgir de vuelta la duda... Por ejemplo desde esa situación salivo cuando me imagino un miembro masculino, tengo mis amigos con los que me llevo bien, pero no tengo amigas, trabajo con mi vieja y mi hermana con las que tengo una relación superficial y creo que pierdo la fe en poder compartir con una mujer una relación honesta, divertida y no perjudicial, mis ultimas mini relaciones fueron lindas, pero hubo una chica que me llamo mucho la tensión y termino todo mal con ella porque le mande un mail que decía en sintecis que no me acosté con ella cuando tuve la oportunidad porque quería conocerla más, yo se que fue miedo al que pasaba después tenia miedo a encachularme con ella y sentía que no le daba lo lo suficiente como para que este emocionada al verme iba a ser solo sexo y yo quería más... Aunque después llegue a pensar que no solo yo no actúe con ella como quería sino que ella no era la indicada, pero la verdad es que no conectamos mucho y eso es lo que ansío... Te cuento todo esto porque realmente estoy confundido, necesito un buen concejo, realmente si empiezo a tener a la chica que quisiera, ¿me seguirían gustando las mujeres? Siento que si conecto con alguien voy a herir o salir lastimado y eso no me gusta.
Tengo mucho de la histeria femenina en mi carácter alimentado por mi miedo al rechazo, soy un tipo bien parecido, llamo la atención pero todo por lo general termina cuando escupo lo mucho que me gusta la persona que tengo en frente, por la ansiedad de acoplarme a quien tengo, siempre busque las mujeres que menos me gustaron porque pienso que no podría con una hermosa mujer.
Yo se que esta un poco mezclado todo lo que siento en este texto pero quisiera un buen concejo... Se los dejo, un saludo