Tengo que pagar impuestos por cantidades no recibidas de alquiler de mi vivienda?

Efectue un contrato de alquiler de mi vivienda habitual. Pero nunca llego a hacerse efectivo porque me case con mi " inquilino" . Ahora Hacienda tiene ese contrato y me pide que pague los impuestos correspondientes. Yo entiendo que ese contrato de alquiler fue " sustituido " por el contrato de matrimonio. Ya llevamos 5 años casados, tenemos una hija y seguimos viviendo en la misma casa. Que por cierto era de mi propiedad, y totalmente pagada, años antes de conocer a mi marido.