Cancelar cuenta vivienda después de 4 años exactos

Por favor, ¿me pueden ayudar?. Creé una cuenta vivienda el 27/12/2001 y el 15/06/05 di una señal para comprar una casa. Desde esa fecha hasta que gastó el dinero de mi cuenta vivienda fui sacándolo para pagar las cuotas hasta la entrega de llaves (15/04/06). Por ese motivo a 31/12/05 aún no había cancelado mi cuenta vivienda. Al año siguiente no hice ninguna deducción por esta cantidad remanente, y terminé de gastarla. Ahora me acaba de notificar hacienda que "el importe de las deducciones indebidamente practicadas es incorrecto por haberse perdido el derecho a deducir, en función del articulo 59 del reglamento del impuesto. El plazo para invertir las cantidades depositadas en la cuenta vivienda será de 4 años a partir de la fecha en que fue abierta, computándose de fecha a fecha. Para no perder el derecho a las deducciones practicadas deberá destinarse a la adquisición en plazo la totalidad del saldo, en su caso el plazo de 4 años cumple el 27 de diciembre de 2005 y según la entidad bancaria su saldo en esa fecha era de 5800 euros, por tanto debe reintegrar las deducciones practicadas incorrectamente", con lo que me indica que la cuota a pagar es lo que había deducido durante estos años más intereses. ¿Es esto así? Creía que los requisitos eran comprar una vivienda dentro de los 4 primeros años e invertir el dinero de la cuenta vivienda en ella a medida. ¿Qué puedo alegar para no tener que devolver todo este dinero? En ningún momento fui consciente de estar incumpliendo la ley.
Gracias de antemano