¿Está enamorado de mi?

Hola. Hace casi cuatro meses que tengo una "relación", lo entrecomillo porque no se muy bien como definirla con un chico. Tengo 35 años y él 40. Los dos llevamos 3 años solos. Yo después de una relación de 10 y él ha tenido dos relaciones largas, de 5 años de duración cada una, las dos veces le dejaron ellas y se lo hicieron pasar muy mal, mi relación termino bien, simplemente se acabó el amor.
El caso es que yo siento algo muy fuerte por él, creo que le quiero. Nos vemos tres o cuatro veces por semana, tomamos café, nos vamos de copas, a bailar, a cenar, al cine, de compras, salimos también con amigos, etc...
Estamos muy a gusto juntos, nos contamos todo y nos reímos mucho y se nos pasa el tiempo sin darnos cuenta aunque estemos horas y horas.
Suele hablar de sus cosas en plural, como contando conmigo para todo y haciendo planes conmigo a corto y medio plazo.
Por desgracia no podemos mantener relaciones sexuales con frecuencia porque yo por causa de la crisis vivo con mis padres y él se está reformando el piso y vive con los suyos pero más o menos una vez por semana o cada dos dormimos en un hotel.
El sexo con él es maravilloso, los dos nos entregamos completamente y disfrutamos plenamente durante horas porque no sabemos cuando vamos a poder repetirlo.
Para mi esto es una relación, somos más que amigos y por supuesto no es sólo sexo, ya que de eso hay más bien poco.
Hasta ahí todo bien. El problema es que cuando la cosa parece que se pone seria porque estamos los dos emocionados de repente se vuelve frío y me dice cosas como que no quiere tener una novia, que no quiere centrar su vida en una sola persona, que no quiere que me enamore de él y que él no está enamorado de mi.
Entonces yo lo paso muy mal y me alejo, pero en cuanto pasan dos o tres días y no doy señales de vida me llama para quedar conmigo y claro, como lo estoy deseando le digo que si y vuelta a empezar.
Yo siento que me quiere y creo que se aleja por miedo pero hay veces que dudo y me pregunto si estaré perdiendo el tiempo y sería mejor dejar de verle.
Me encantaría saber tu opinión. Muchas gracias de antemano