¿Debo de cambiar mi domicilio fiscal o mejor es que no?

Me dirijo a vds. Ya que en alguna ocasión me ayudaron en anteriores consultas de manera rápida y con conoimiento del tema y quiero ponerles en consideración una nueva a ver si me puede ayudar.
En 2009 adquirí una vivienda ya teniendo otra (ambas en Com. De Madrid) y desde entonces me estoy desgravando como vivienda habitual del préstamo hipotecario y habiendo fijado desde entonces también mi domicilio fiscal en la misma. A principios de este año 2014 hemos vuelto a nuestra antigua vivienda y vamos a residir en ella en lo sucesivo y sin idea de comprar o alquilar la nueva. Lógicamente entendemos que en la próxima declaración no deberemos desgravarnos por la adquirida, pero ¿puede la admon. Tributaria solicitarlos algo por las deducciones que hemos hecho en años anteriores? O si en el caso de no fijar nuestro domicilio fiscal en la vivienda donde nuevamente vivimos no se debe de apercibir la agencia tributaria de esta cuestión.
Espero que haya sido claro en mi exposición y esperando su respuesta.