Lo amo pero es casado

Hola mi pregunta es la sig ando con un hombre desde hace 5 meses yo tengo 22 años y el 37 y lo quiero mucho el dice lo mismo que me quiere mucho pero el problema aquí es que el es casado y peor aun es que yo lo sabia desde el día que lo conocí pero para ser franca jamas imagine que llegaríamos a tanto el me dice que va a dejar a su esposa para estar conmigo y aunque es lo que en verdad deso me pesa mucho que ella sufra por mi culpa y más aun habiendo hijos de por medio he intentado ya en varias ocasiones dejarlo pero el se pone muy mal y termino aceptándolo de nuevo ya que yo no me quiero separar de el mi familia se entero y no lo quieren pero yo lo amo y no se que hacer el no me quiere dejar y yo tampoco a el. Que me recomiendas hacer estoy desesperada ya que no me quiero separar de el pero quiero hacer las cosas bien
Espero tu respuesta gracias por atenderme un saludo y un abrazo bye