¿Por qué mi pene no se pone erecto rápidamente?

Tuve un problema el fin pasado, yo antes no había tenido relaciones sexuales (era primerizo) he estado con mi pareja 2 veces solamente, la primera vez tuve este problema pero me pareció normal pues era mi primera vez y estaba muy nervioso y creí que por eso mi pene había tardo en ponerse erecto, ya la segunda vez me volvió a ocurrir! Pero lo que no entiendo, es por que antes de tener relaciones, a la hora de empezar el famoso "Faje" mi pene si se pone erecto y todo va bien, pero ya al estar en la cama y completamente sin ropa me causa este problema. Me tranquilizo unos 5 o 10 min y vuelvo a empezar y mi pene funciona bien! ¿Entonces qué debo de hacer? ¿Sera por que son las primeras veces? Ha ojo, mi pareja no era virgen! ¿Sera ese el problema? Espero respuesta muy pronto y muchísimas gracias por su atención!