Compra de vivienda con dinero negro

En marzo de 2006 firmamos las escrituras y la hipoteca de nuestra vivienda. Hace 2 semanas recibimos una notificación de Hacienda en la que nos citaban pidiéndonos copia del contrato de compra-venta, las escrituras, la hipoteca, todas las facturas con el vendedor (en este caso constructor y también promotor) y los movimientos de todas nuestras cuentas durante 2005 y 2006. Llamé por teléfono al inspector para retrasar la cita porque no disponíamos de los movimientos de todas las cuentas para la fecha estipulada y, de paso, le pregunté cuál era el problema. Me dijo que no nos preocupáramos, que no tienen nada contra nosotros, que están investigando al vendedor porque "ya sabemos cómo se han hecho estas cosas" (literalmente). El caso es que me han llegado los movimientos de una cuenta y figura una retirada de efectivo de 18.000 euros en octubre de 2005, el día anterior a la firma del contrato de compra-venta, cuando en dicho contrato sólo aparece un pago de 6.000 euros por nuestra parte. Por supuesto, al vendedor le pagamos una parte en negro y una de las cláusulas del contrato dice que si el vendedor no cumple con su parte nos tiene que indemnizar con el 18% del valor de la casa. Ese 18% es más o menos lo que le pagamos en negro. También aparece otra retirada de efectivo de 6.000 euros en agosto de 2005, pero no recuerdo qué hicimos con esta cantidad. Mis preguntas son las siguientes: ¿Puede Hacienda obligarnos a justificar qué hicimos con esas retiradas de efectivo? ¿Puede hacernos pagar algo si reconocemos que dimos al vendedor una cantidad en dinero negro? Yo no quiero perjudicar al vendedor, pero tampoco quiero pagar yo el pato cuando el pago en negro fue una exigencia suya.