Compañero de trabajo que quería sexo y al rechazarle ahora me ignora

Me he hecho muy amiga (o eso creía yo) de un compañero de trabajo. Nos llevamos muy bien, hablamos siempre que podemos, nos reímos juntos, nos contamos problemas, etc. Y yo como vi que todo iba tan bien quise ir más lejos y le dije que si podíamos quedar fuera. Me dijo que si y fuimos a tomar unas cervezas. Cual fue mi sorpresa que estando sentados en la mesa me dijo que si quería ir a un hotel (pero que lo pagara yo). Le dije que no (tengo marido y él está casado y con un hijo), que no estaba bien eso, que solo le quería como amigo y me contestó que él había quedado para tener sexo, que sino no hubiera quedado ya que solo quedaba con mujeres para eso. Me sentí la mujer más idiota del mundo, por haber creído que tenía un buen amigo cuando en realidad él solo había sido simpático para poder acostarse conmigo. Después de aquello me fui de vacaciones y estuvimos 3 semanas sin vernos. Al volver, le pregunté a una compañera de confianza qué pensaba de él y me contestó que ha intentado acostarse con todas las chicas de la oficina (incluso con ella), que con algunas lo ha conseguido y que engaña a su mujer cada semana y con cualquiera. A él no le dije nada de esto e intenté comportarme de forma normal y aún le dije si quería volver a quedar para contarnos lo que había pasado en las últimas semanas, ya que yo lo había echado mucho de menos. Me dijo que no, que no le venía bien y que más adelante ya veríamos. De eso ha pasado un tiempo, en el que él ha estado bastante raro. Yo no dejo de pensar en él y en cómo poder tener una relación normal. No se que he visto en él pero no puedo sacármelo de la cabeza. No dejo de darle vueltas a lo que pasó, no entiendo como él solo puede querer sexo conmigo y no querer ningún tipo de amistad. Por eso hace unos días, en plena desesperación, le he dicho que me arrepentía de lo ocurrido y que quedáramos para acostarnos, ya que había cometido un error al decirle que no. Estaba segura de que me diría que sí, ya que eso era lo que él quería pero sorprendentemente me contestó lo mismo que la última vez: que no puede, que no le viene bien ahora y que más adelante ya veremos ("todo a su tiempo" me dijo). A estas alturas ya debe de pensar que estoy loca por cambiar así de opinión, pero es que quiero que nos llevemos bien y podamos vernos fuera de la oficina como dos amigos normales y ya no se qué hacer para conseguirlo. Aunque sinceramente creo que no le importo nada en absoluto y en estos momentos él para mí es alguien muy importante en mi vida estoy pasándolo bastante mal pues cada vez que nos cruzamos en el trabajo se me pone un nudo en el estómago, no se si hablarle de algo trivial o esconderme en cualquier sitio para no verlo. Cada vez la relación está más fría y distante y noto que él empieza a evitarme. Y yo sigo echándole tanto de menos.