Hacienda no acepta la desgravación de mi vivienda

Hace un par de meses me llego una notificación de hacienda diciéndome que según mis consumos mi vivienda no se podía considerar como vivienda habitual por lo que tenia que devolver lo que me había desgrabado de más. Me llego año 2014, 2015 y 2016. Tanto el año 2015 como 2016 lo acepte pero el problema llega en el 2014 en el cual si que he vivido pero me dice hacienda que ellos no niegan que haya vivido allí si no que la he utilizado puntualmente y no como habitual. No han tenido en cuenta ni mi situación personal ni mis horarios de trabajo. Ahora bien voy a poner un recurso de reposición ya que al ser madre soltera y tener horarios de mañana una semana( 6-14) y de tarde ( 14-22 ) otra semana yo tengo que ir a por mi hijo a casa de mis padres y una semana se queda con ellos por lo que me paso todo el día fuera de mi casa, solo voy a dormir. Al ser la misma hacienda la que me denegó todas las facturas aportadas tengo alguna posibilidad al poner el recurso de reposición poniendo tanto horarios de trabajo como situación personal de ganarlo. Lo digo porque no es justo tener que perder una reducción de la multa del 30% sabiendo que tengo razón además de que si que he aceptado los años siguientes ya que deje de vivir allí. Porque tengo que demostrar que vivo allí y no son ellos los que tienen que demostrar lo contrario. Si mi consumo es mínimo ya que con mi sueldo es difícil pagar hipoteca, recibos, comida, agua, ¿luz más los gastos del niño por eso me fui de mi piso pero que hago me gasto 200€ en luz y no como para que digan que si he vivido allí?. Alucino.