Piso en herencia, amenazas ¿Puedo vivir en él?

Hace 9 años heredamos el piso de mi abuela, mi padre, mis dos tías y yo. Mi padre desde entonces se instalo en él. Yo en aquel entonces vivía en otra ciudad por motivos laborales, con mi marido y mi hija. Hace tres años pudimos volver a nuestra ciudad (donde se encuentra el piso) y desde entonces estamos de alquiler. Hemos intentado en varias ocasiones llegar a un acuerdo para vender el piso e incluso que yo pudiera comprar las partes, para poder tener una vivienda propia, todos los propietarios estaban de acuerdo, excepto él que siempre se ha negado. Ahora me encuentro con grandes problemas económicos y cada mes nos cuesta más pagar el alquiler. Como el contrato de alquiler nos cumple en marzo, hemos hablado con mi padre para comentarle que queremos vivir en el piso al menos durante una temporada hasta que nos repongamos económicamente, el resto de los propietarios nos apoyan, pero nos hemos quedado un poco sorprendidos cuando mi padre nos ha amenazado violentamente. No sabemos que hacer es una persona no muy equilibrada mentalmente, violenta, pero muy inteligente, yo no le tengo miedo, pero si por mi hija que es pequeña, no me puedo instalar allí porque no se que pasaría, aunque por otro lado no encuentro otra solución a nuestro problema. Además el insiste que mi marido no puede ni entrar a vivir en la vivienda porque no tiene nada que ver con ella.
¿Cómo aclaración le diré que el piso está valorado aprox. En 180.000?, ¿Y qué hace unos 7 años se hizo una hipoteca sobre la vivienda de unos 60.000?, que esta a nombre de mi marido(casados en gananciales) y mío y que fue avalada por todos los propietarios.
Nos gustaría saber que podemos hacer porque lo cierto es que estamos un poco desesperados.
Perdón por extenderme tanto.