¿Qué le pasa a mi novio?

Hola, escribo porque me pasa lo siguiente: llevo ya saliendo con mi novio mucho tiempo, casi dos años y lo que es tener relaciones sexuales pues... A fecha de hoy aún no lo hemos hecho.
Él es pasional, me besa, me abraza, por supuesto que nos hemos masturbado, me ha practicado y yo a él sexo oral, eso si, y me gusta y todo eso.El problema viene a la hora de ponerse el preservativo: se le baja la erección y no hay forma, lo hemos intentado pero a la hora de la penetración no hay manera y lo cierto es que me agobia el tema.. Por un lado ya ni intenta hacerlo conmigo porque como sabe lo que va a pasar... Por otro no se si será virgen y me da cosa preguntarle directamente, ¿no se supone que a los hombres les apasiona el sexo? Yo si quiero seguir intentándolo pero él evita el tema, hacemos lo de siempre y eso lo deja a un lado, además el otro día nos enfadamos y yo le hablé de éste tema y me dijo que bastante enfadado estaba ya consigo mismo por eso para que encima yo se lo recuerde, que se come mucho la cabeza por ese tema, y bueno, ¿qué podemos hacer? Si no lo intentamos aunque salga mal la cosa no va a mejorar, ¿qué puede ser que le pasa? ( Se excita enseguida, en eso no me quejo, pero me gustaría un consejo ya que me estoy agobiando y no se cómo ayudarle, además me como la cabeza sin saber si es virgen, igual es por eso y se pone muy nervioso, gracias.