Me tengo que ir de casa¿?

Vivo con mi ex, y mis tres hijos, en mi casa, herencia de mis padres, que nos dejo junto con dos mas para el disfrute de todos mis hermanos .No estamos divorciados de papeles, solo separados, Podría meter en casa mi ex, ¿a su novio si quisiera ella?, ¿O yo me puedo negar a que entre el? Actualmente las viviendas están a nombre de los herederos, que somos los hermanos