¿Qué puedo hacer si noto a mi novio distante y creo que me dejará pronto?

Buenas, tengo un problemilla y eso es evidente, sino no hubiera pedido consejo.
Sé que debería pedir ayuda en terapia de pareja, pero mi novio se niega.
Resulta que mi novio y yo llevamos 4 años juntos, y el año pasado rompió conmigo sobre estas fechas, con la excusa de que yo me ponía demasiado triste, esa tristeza era ocasionada porque me empezó a gritar y a ser bastante grosero conmigo, yo se lo decía, pero igualmente se escudaba con la idea de que no podía estar tan triste.
Bueno, pues volvimos, y todo nos ha ido bien e incluso hemos hecho planes para el futuro para irnos a vivir juntos, pues aun vivimos cada uno en casa de nuestros padres.
Resulta que hace pocos días mientras realizábamos el acto sexual, el eyaculo muy rápido (Esto le suele ocurrir) y se cerró en banda, yo le demostraba como podía, que no tenía importancia (como siempre lo he hecho)dándole besos, abrazos, con palabras, pero no dijo nada, tan sólo se quedó enfadado (enfadado consigo mismo me supongo).
Desde entonces esta distanciado conmigo, yo intento de todas las maneras posibles hablar con él, pero la comunicación no es su fuerte, y no suelta prenda.
Tengo miedo, en serio, de que me vuelva a dejar como el año pasado, y es que creo que ha entrado en una especie de rol, en que sobre estas fechas no quiere estar conmigo, como si la llegada del verano le influyese (puede que sólo sea casualidad, pero no tiene sentido que se ponga así cuando ya llevamos 4 años con el mismo problema, el de la eyaculación me refiero).
Bueno, pues usted como podría evaluar tal situación, yo es que, sé que si me quiere dejar lo hará aunque sea por la excusa más tonta, aunque debo admitir que amor hay, y aunque no pueda meterme en su mente, hay cosas, gestos y palabras que lo demuestran.
Siento que la pregunta sea tan larga, es que sólo intento explicarme de la mejor forma posible para que pueda ayudarme de tal manera.
Saludos y a la espera de su respuesta.