Primero que nada mucha felicidades por haber superado tu separación y buscar el mejor arreglo en pro de tu hija, civilizadamente. Lo que sería bueno saber es, ¿qué tipo de violencia has manifestado con él? Si bien es cierto que violencia es violencia desde cualquier punto, sería bueno saber si tu ex pareja ha sido violento contigo, con la nina o en algún bar. Si es que tu confías en que él no le hará dano a la nina y la nina se siente a gusto con su padre, lo mejor es dejar que se vean, tu hija entiende algunas cosas y su voluntad es ver a su papá y contar con el apoyo de su madre será fundamental para su futuro.
Si por el contrario el ha sido violento contigo pero jamas (de ninguna manera) con la nina, siento que también tiene derechos de ver a su hija y sobretodo tu hija estar con su papá. Si el ha sido violento en todos los sentidos, deberán haber condiciones para que ellos (tu hija y tu ex) puedan mantener un contacto más presencial.
Ahora bien, tu te encuentras muy bien donde estas pero a la vez mal por las circunstancias con tu hija, si estas en un trabajo podrías preguntarte si, las mismas condiciones que tienes en tu actual residencia las pudieras encontrar si te mudas. Si esto no sería así y sería una desmejora en tu situación actual (entiéndase comodidad, bienestar, trabajo, paz) entonces pudieras plantearte la opción de mudarte porque además de todos los beneficios personales obtendrías además un placer mayor de ver a tu hija aún más feliz.
Si consideras que no podrías obtener lo que actualmente tienes allá. Podrías plantear la idea de que sea tu ex el que evalúe mudarse... si tampoco es factible esta solución, entonces no quedará de otra de plantearle a tu hija que en cada oportunidad que tengas (vacaciones, feriados) ella podría visitarlo.
Deseo que puedas encontrar la solución junto a tu hija.