Exencion por reinversion

Voy a intentar ser muy breve, de todas formas si el experto necesita algún dato más, que me lo solicite.
Vendí una vivienda en el año 2006, solicite exención por reinversión, se cumplen plazos, se destina el 100% de la venta a la compra de una vivienda nueva, hasta aquí ningún problema, el tema viene porque Hacienda me hace llegar una declaración complementaria, porque según ellos para el calculo del valor de la vivienda nueva solo consideran lo que yo pague el año 2006 que fue cuando vendí y escriture la vivienda nueva.
Pero en los años 2004 y 2005 también se habían efectuado entregas a cuenta (estaban detalladas en contrato firmado).
¿Cómo es posible que Hacienda para el calculo del valor de la vivienda nueva a efectos de ver si se cumplen las condiciones de la reinversión minore del importe que realmente me costo las cantidades aportadas en el 2004 y 2005, es totalmente injusto, revisando los artículos de la ley y del reglamento del IRPF, yo no veo ni leo en ningún sitio la interpretación que ellos hacen de la ley?.
¿Es alegable esta reclamcion?, ¿Qué se debería aportar en las alegaciones?
Gracias anticipadas