Residir en domicilio distinto al fiscal

Dispongo de un piso, el cual he alquilado el 1/1/2019.Dicha vivienda me desgaba por ser habitual. El inquilino ha cambiado su domicilio fiscal a esta vivienda, con lo que en la proxuma declaración no podre desgravarlo. Hasta ahí todo correcto. Por motivos laborales mi familia y yo nos desplazamos a otra comunidad autónoma el año pasado, pero siguiendo con el domicilio fiscal y empadronamiento en el mismo sitio, es decir, en la vivienda de mi propiedad. La pregunta es; tengo que cambiar OBLIGATORIAMENTE mi domicilio fiscal, ¿empadronamiento etc? La casera del piso en el que estamos no la interesaba declarar el alquiler, y a mi no me interesa hacer papeleos ni cambiarlo pero tampoco quiero problemas con hacienda, así que no se muy bien que hacer...