¿Obligado a abandonar mi casa o vender siendo usufrutuario?

Vivo con mi madre que es viuda y dependiente psíquica, yo soy su cuidador y el piso es el que compraron mis padres.
Al fallecer mi padre - en su testamento- nos dejó a 3 hermanos el 50% de su parte y a mi madre como corresponde, el otro 50% del piso en el que vivo con ella.
Uno de mis hermanos y yo arrastramos deudas (por negocios que fueron a la quiebra) por valor superior a lo que nos correspondería, sumando la parte de nuestro padre y la parte de mi madre si nos la dejase por igual a los 3 hermanos.
Decir, que las deudas de mi hermano y mias son pólizas bancarias con la misma entidad y aunque son por separado, nos informaron que llegado el momento podían "aunarlas" y quedarse con el piso, por lo que hace unos años, mi madre hizo su testamento y dejó -por mutuo acuerdo entre hermanos - toda su parte - excepto la legítima- al hermano que no tiene deudas ni embargos, para evitar así que el banco se pudiese llevar lo que nos correspondería a los dos que si las tenemos.
Al ser mi madre dependiente y haberme hecho cargo yo de ella (llevo cuidándola casi 14 años),
Me puso como usufrutuario de la vivienda (1/3 Libre disp. Y mejora) y quisiera saber si llegado el momento de su fallecimiento, mis hermanos podrían obligarme a vender el piso o por el contrario yo podría continuar viviendo en él hasta que yo decidiese dejarlo, ya que por el momento no tengo interés alguno en abandonarlo o en su venta.
Comentar también, que actualmente tengo en propiedad un pequeño apartamento con una hipoteca que estoy pagando todas las cuotas sin problema desde que lo compré, la hipoteca es con una entidad distinta a la que me dió las pólizas a las que no pude hacer frente, por lo que aún mantengo la propiedad, el importe pendiente de esta hipoteca es superior a lo que le le debo a la entidad de las pólizas, por esa razón imagino que aún no han metido mano, y aunque sé que llegará el momento que me lo embargarán, lo tengo alquilado.
En resumen, las dudas son:
1.-¿El ser propietario de este apartamento, puede ser causa de anulación del usufructo del piso donde vivo?

2.- ¿Cuándo fallezca mi madre, mis hermanos podrían obligarme a vender o a abandonar la vivienda teniendo este usufructo con un tercio de libre disposición y mejora?