IRPF-inmuebles no afectos a actividades económicas

Hola: Tengo una vivienda y estoy pagando hipoteca, estuve viviendo en ella 4 años, me casé y ahora vivo en otra provincia con mi esposa, que tiene otra vivienda y también hipotecada. Hacemos la declaración conjunta (gananciales), ¿debería declarar mi vivienda que ahora está vacía como inmueble no afecto a AAEE (excluidos vivienda habitual), o esta vivienda se consideraría vivienda habitual al haber estado viviendo yo en ella más de tres años y estaría excluida independientemente de que ahora este viviendo con mi esposa?. Muchas gracias.