Casados con viviendas habituales distintas

Hola, la pregunta es sencialla (o no...) y casi que imagino la respuesta...
Estoy casado, mi pareja tiene una vivienda privativa que la declara indivudualmente a efectos fiscales como vivienda habitual... (esta empadronado, gastos de consumos a su nombre, hipoteca a su nombre, etc..)
Yo, me voy a comprar una vivienda ahora ya casado, en otro municipio de la provincia, y por motivos de trabajo (de momento... O sin motivo, porque se puede dar el caso que una vez comprada como vivienda habitual, pierda el trabajo y siga viviendo en ella como vivienda habitual... ), lo que esta claro es voy hacer uso de ella como vivienda habitual (empadronado, consumos e hipoteca a mi nombre, etc.)... Nosotros convivimos juntos unicamente los fines de semana y en periodos vacacionales... A pesar de ser matrimonio... El trabajo y nuestra filosofía así lo manda¡
¿La Ley tributaria permite que nos declaremos individualmente cada uno nuestra vivienda como habitual, a pesar de estar casados... (separación bienes)? ¿O entenderá el fisco a una de las viviendas como segunda residencia del matrimonio (las rentas son individuales)?
Agradecido de antemano, quedo a espera de sus sugerencias y respuesta, para podre optimizar, dentro de la legalidad, los beneficios fiscales...