Domicilio fiscal en casa no legalizada

Me gustaría saber si puedo poner como domicilio fiscal en el IRPF la casa donde actualmente vivimos mi marido y yo que tiene referencia catastral de parcela agrícola. Para empadronarme no hubo problema, pero no sé si fiscalmente podría traernos alguna consecuencia (revisión, expediente)