Me confunde... ¿Le importo o no?

Hola, tengo 30 años llevo casi 10 meses saliendo con un hombre 8 años mayor. No somos pareja como tal, trabajamos en el mismo edificio en diferentes empresas y diferente piso. Conozco a su hermano y a la esposa de su hermano, me llevo bien con ellos y el trato con ellos es como familiar.
Mantengo relaciones sexuales con este hombre ya por 7 meses, sin embargo, me enamoré de el. Estoy perdidamente enamorada de él... Pero el me confunde demasiado. Recién nos conocimos, lo besé un día y me dijo que solo eramos amigos y nada más; tiempo después el me abordó en el estacionamiento buscando un acercamiento muy personal.
Tiempo después comenzó nuestra relación. Se que terminó una relación difíil 2 meses antes de conocerlo, pero es todo lo que sé. En ocasiones me dice muchas cosas que no se como interpretar (que sale con muchas, que esta enamorado de otra, que no puede ocasionarle un orgasmo a otra mujer más que a mi). Es un hombre complicado... Creo.
El objetivo es que soy muy linda con el (así soy yo), en nuestras pláticas me ha dicho cosas como el que el sexo lo guarde para el (o eso entendí yo), el otro día en una plática me dijo que el sabía que yo estaba enamorada de el, pero que el "como que no se dejaba" (así lo dijo). Yo le exprese que nada es para siempre, que podría ser la ultima vez o quizá yo decidiera alejarme y el respondió "haría todo lo posible por recuperarlo".
Estos últimos días lo he visto platicando con otra chica, un día los vi abrazados y hoy saliendo juntos del edificio... Ya no sé ni que pensar. Me siento muy confundida con lo que me dijo.
Tengo que aceptar que no salimos constantemente, cuando salimos juntos es solo para tener relaciones. Hay días en que no lo veo o me lo encuentro, normalmente pasa enfrente de mi oficina y me saluda de lejos. Sin embargo desde hace ya algunos meses, y digo es algo constante, en ocasiones a diario pasa a tocar mi puerta para saludarme y darme mi beso y en ocasiones un abrazo.
¿Qué quiso decir con que "haría todo lo posible por recuperarlo"? El dice que no quiere dañarme, ¿pero será que no siente nada por mí? ¿Qué pueden decirme al respecto?
Yo he pensado en alejarme pues quiero que el sea feliz, pero tampoco quiero sufrir y si el ama a otra... Me parece lo más sensato. ¿Estaré bien al hacer esto? Pero si es así, ¿el quiso decirme que si me alejo me buscaría? ¿Para qué?
Por favor ayúdenme ! Estoy muy confundida !
Gracias.