Relación con un hombre casado 20 años mayor

Hola!
Os voy a contar mi historia. Hace un tiempo conocí a un chico 20 años mayor que yo, está casado y con dos hijos. Todo el mundo decía que estaba muy mal con su mujer y que se iban a divorciar. Un día que estábamos solos nos besamos y así durante varios días. Era todo muy bonito y romántico. También nos hemos acostado alguna que otra vez. El nunca me habla de su mujer ni de lo que siente por mi. Ella le tiene muy muy controlado y no puede hacer nada, ni salir solo a la calle, asique no hemos podido volver a estar juntos.
Creo que más o menos tengo claro lo que tengo que hacer, alejarme de él y olvidarme, pero me gustaría que me dieseis vuestra opinión de expertos. ¿Por qué estuvo conmigo y me dijo que se sentía tan bien y luego "paso" de mi? ¿Qué ha querido solamente de mi, estar conmigo una noche? A mi el me gusta muchísimo, incluso me he llegado a enamorar, y ahora no se que hacer si seguir luchando o dar por perdida la batalla...
Gracias.