¿Estoy yendo demasiado deprisa?

Hola a todos, necesito opiniones acerca de una relación que acabo de comenzar y que me tiene bastante confusa.
Hace cerca deun mesempecé una relación con un chico que me gusta muchísimo. Yo sabia a través de un conocido común que yo le gustaba bastante físicamente, por lo que me anime a hablar con él y quedamos para tomar un café.
Hemos tenido cinco citas, ambos tenemos un trabajo con un horario muy irregular, pero lo cierto es que prácticamente todos los días que hemos tenido libres hemos quedado.
En la primera cita tomamos un café, en la segunda quedamos también para tomar un café matutino y se alrgo hasta la hora de comer y un par de cafés más. A la hora de la despedida nos besamos y se marcho de viaje de nuevo (aunque vive y trabaja en la mía es de otra ciudad y en los días libres suele viajar a visitar a su familia). En cinco días que estuvo fuera no me llamo pero cuando volvió volvimos a quedar y en esa cita nos acostamos por primera vez. Yo no dije nada por no haberme llamado pero me dijo que estuvo todo el tiempo acordándose de mi beso.
Después de esa cita en que nos acostamos, al día siguiente me hizo la comida en mi casa, me invito a cenar a un restaurante y estuvimos de copas. Fue perfecto. Hemos seguido quedando todos los días que hemos tenido libres (en total cinco citas más). Bueno la preocupación viene ahora, ha vuelto a marcharse a su ciudad, esta vez dos semanas y de nuevo no tengo ninguna noticia de él.
Es una persona bastante independiente, sin embargo cuando estamos juntos es estupendo, aunque dice cosas como que no le gusta que le estresen, también me dice cuando no podemos hacer algo que no me preocupe, que habrá muchos días.
¿Qué opináis, me estoy agobiando sin motivo intentando que las cosas vayan más rapido de lo debido o a vosotros también os parece un comportamiento extraño? ¿Sera qué solo quiere pasar el rato y por eso no llama cuando no está?
Opiniones y consejos please!