Mis hijos no quieren ver a su padre

Estoy separada desde hace ocho meses y mi separación fue traumática ya que habiendo muy buena convivencia y sin imaginarnos nada ni mis hijos ni yo, un buen día llegó mi ex-marido diciendo que se iba de casa porque había conocido a otra mujer. Mis hijos tienen 17 y 14 años y se sienten totalmente abandonados por su padre. Al principio quedaban con él de vez en cuando (si bien yo les obligaba a ello), pero debido a una serie de hechos provocados por su padre que les ha hecho mucho daño (como traer a la otra mujer a escondidas cuando quedaba con ellos, hacer con los hijos de la otra cosas que a ellos les había negado, mentirles en innumerables ocasiones, y un largo etc), mis hijos ya no quieren quedar con él.
El problema es que les está amenazando con demandarles para cumplir un régimen de visitas. En la sentencia de divorcio se pactó que dada la edad de los menores las visitas se harían de mutuo acuerdo entre éstos y el padre si bien en caso de falta de acuerdo se establecería el que obliga la ley.
Mi pregunta es: ¿Puede el padre obligarles a irse con él dada la edad que tienen y que uno de ellos cumple este año la mayoría de edad, o por el contrario un juez tendría en cuenta su decisión ya que su padre les está haciendo moralmente mucho daño?