Reinversión de ganancia patrimonial vivienda habitual

El 13/04/2009 vendimos nuestra vivienda habitual y la ganancia patrimonial obtenida se puso como exenta en la declaración de ese ejercicio porque el 13/06/2008 adquiriéramos un terreno con una casa vieja pero habitable que iba a ser nuestra vivienda habitual. Nos empadronamos y fuimos a vivir para allí en abril del 2009. Después quisimos reformar la casa pero por la situación de la casa no era viable la reforma y tuvimos que tirar la casa (12/2009) y hacer una obra nueva que finalizo el 22/05/2012. Este año nos han solicitado la documentación justificativa por la deducción de la vivienda habitual del ejercicio 2012, la misma fue entregada y nos contestaron que estaba todo correcto, pero nos mandaron otra notificación diciendo que teníamos que tributar por la ganancia patrimonial del 2009 porque no terminamos la obra en el plazo de 2 años desde la fecha de venta del piso (04/2009). ¿podemos justificar de algún modo que la reinversión de la ganancia se produce con la compra de la casa vieja y no con la construcción de la casa nueva? ¿Podemos acogernos al plazo de cuatro años que se aplica en algunos casos?