¿Manipulación?

Hola, que bueno que puedo hablar con alguien, resulta que hace 4 años que estoy de novia y hace poco convivimos.
Pero a la vez un compañero de trabajo me acosa todo el tiempo y alguna vez en el pasado accedí y le fui infiel a mi novio. El se entero y luego de mucho dolor y sentimiento de culpabilidad de mi parte le pedí perdón y el me perdono. Nuestra relación cambio para bien porque ahora es más atento conmigo y compartimos más cosas y tenemos más proyectos juntos. El quiere que cambie de trabajo porque no quiere que tenga a esa persona cerca.
Yo le dije que me gusta mi trabajo porque así es, y que había hablado con esa persona y ya no me iba a molestar más. Por supuesto que me atraía y sentía algo especial por mi compañero de trabajo aunque sabia que era un patán! Y que le estaba siendo infiel a su novia también y no solo conmgio.
Afortunadamente hable con el y no me molesto más ni me propuso más nada, de todas maneras yo estaba negada a hacerle caso, pero no se como hace que siempre logra manipular a todas las personas para que hagan lo que el quiere y no se como manejarme ante un manipulador.
Después de 5 meses de no molestarme o buscarme más ya hoy empezó de nuevo a querer besarme en el trabajo y le dije que no quiero pero casi que me obliga.No se que hacer, quiero mucho a mi novio y soy feliz por la etapa que estamos pasando pero esta otra persona siempre logra hacerme dudar con sus falsas demostraciones de afecto ya que solo quiere sexo.
Su novia lo dejo por infiel.
¿Por favor como hago para sacármelo de encima?