Desgravar compra vivienda por segundo año

Hola:
En diciembre de 2003 compré una vivienda destinada a vivienda habitual, y desgravé los gastos en la declaración de la renta del 2003.
En el 2004 tuve más gastos referentes a la compra de dicha vivienda, como gastos de notario y del impuesto de transmisiones, un suplemento por un incremento en la tasacción de la vivienda.
¿Puedo desgravar estos gastos del 2004 en la declaración del 2004?
Saludos y gracias