¿Tiene derecho la pareja de uno de los herederos a habitar en el piso heredado por tres hermanos?

Somos tres hermanos (dos chicos y una chica). Hemos heredado de nuestros padres, tras su fallecimiento una pequeña cantidad de dinero a repartir a partes iguales y el piso en el que vivían.

Me surge una duda respecto al piso. Ahora estamos viviendo en él mi hermana y yo(cualquiera de los tres hermanos puede hacerlo, obviamente), ambos solteros.

Pues bien, mi otro hermano, que está casado, nos acaba de comunicar que quiere venir a vivir con nosotros con su mujer.

Mi consulta es: ¿Tiene derecho a que su mujer sea admitida? Dicho de otra manera: ¿Podemos los dos hermanos que residimos en el piso aceptar que venga el tercero pero negarnos a que venga su mujer?.