Inicio de una relación

Hola a todos, os explico el caso a ver si me podéis dar una solución.
Hace poco que conozco a mi pareja, el vive en Sevilla y yo un poco más lejos, nos vemos solo los fines de semana por cuestiones de trabajo.
La cosa es que hacemos poco el amor.
Yo he tenido otras parejas y al principio de la relación siempre se hace más que cuando llevas más tiempo, también sé que todas las relaciones no son iguales.
Pero es que si nos vemos el fin de semana solo lo hacemos una vez, me parece insuficiente y la verdad es que me molesta un poco, ya que soy bastante pasional, incluso lo busco y demás y el como si no hiciera nada.
Cómo llevamos poco tiempo pienso que allí se desahoga con otra persona, aunque no quiero desconfiar desde el principio por que sería un error, pero no se.
La verdad es que le he sugerido que no me daba despedida en condiciones pero el como si nada.
Y empiezo a pensar de si que no le gusta como lo hago, o si no le gusto yo en general o cosas así.
Me gustaría que me dierais vuestra opinión y como afrontarlo sin parecer que solo quiero tener sexo con el, ya que no me gustaría que pensara eso, por que no es cierto.