Tengo dudas sobre el usufructo de mi vivienda tras el divorcio, ya que esto saliendo con otro hombre

Necesito saber con urgencia. Estoy separada desde hace 5 años y soy usufructuaria con mis hijos de la vivienda familiar propiedad de mi ex-marido(sus padres le hicieron una cesión después de estar casados). Él ha pedido el divorcio con la intención de que abandone la vivienda y alega que mis hijos son independientes económicamente(tuvieron que dejar los estudios porque él no se hizo cargo de gastos extras(solo les pasaba 30.000pts.a casa uno), el menor 19 años ahora esta estudiando y solo trabaja 3 horas al día, el mayor tuvo que dejar de estudiar y esta trabajando pero le gustaría seguir estudiando)´su padre mismo les dijo que se haría cargo de sus gastos, el que había quedado con ellos, en este caso yo(aunque en el contrato de separación se dejó constancia que se haría cargo de los gastos extras). Pero mi empresa quebró a los pocos meses de hacerme fija. Mis hijos no quieren vivir con él porque le teníamos verdadero miedo, es dictatorial y violento. Ahora yo tengo otra relación, mi novio es de Portugal y ha venido a vivir en un piso alquilado a su nombre en España, estamos con él todos los días para ir conociéndonos desde Enero, pero yo no quiero abandonar mi casa hasta que no este de nuevo casada. No tengo ingreso ninguno y estoy de baja desde enero del año 2006 a la espera de una operación y jubilación anticipada. Quería saber si porque estemos conviviendo desde Enero en días alternados con mi novio(para conocernos mejor)puede sacarnos de la casa. En el contrato de separación nos dejaron la casa como usufructuarios sin más, mis hijos eran menores y el abogado me aseguró que hasta que mis hijos no tuvieran otra vivienda no podría sacarnos de ella, de hecho no tenemos otra vivienda a nombre de mis hijos o mio. Y me gustaría saber si cuando tenga que abandonar la vivienda algún día puedo pedir la mitad de lo que yo he puesto en ella durante 20 años que estuvimos casados y una indemnización para mis hijos por no hacerse cargo de sus gastos extras en 5 años. En el juicio contencioso declaró solo lo que ganaba en nomina y no lo que ganaba (tanto como en nómina) en horas extras, así que desde que nos separamos no se ha hecho cargo para nada de sus hijos, dejó de pasarles dinero cuando ellos tuvieron que trabajar. Gracias de corazón, espero que pueda aconsejarme, qué debo hacer y si él hubiera puesto algún espía para poder demostrar que estamos también a días con mi novio si puede ser esto un motivo para sacarnos a mis hijos y a mi de nuestra casa.