¿Cómo denunciar porque no me vende la casa?

Mi mujer y yo hicimos hace algunos años un contrato de compra-venta en el que se estipulaban una serie de cláusulas:
- ¿Entrada de 24.000? Por adelantado en concepto de reserva del inmueble.
- Si el propietario decidía no vender (por su decisión o por venderla a otro) tiene que devolver el doble del importe, ¿esto es 48.000?
- Si nosotros decidimos no comprar, ¿él se queda la entrada de 24.000?.
- Si por causa ajena a la voluntad de cualquiera de las partes, la venta no puede tener lugar, ¿el propietario devuelve la entrada de 24.000?. Se fija como plazo de devolución tope septiembre de 2010.
Todo parecía ir bien y cuando se firmó el contrato para nosotros eran condiciones muy ventajosas, cuando tras varias visitas al Instituto de la Vivienda de Madrid y tras varias consultas con resultados dispares, nos hacen saber que la finca no va a descalificarse según la fecha prevista en 2009, sino en 2029.
Ahora nos vemos con que la cláusula que aplica es la última de las anteriormente detalladas (causa ajena a las partes, devolución de la entrada antes de 09/2010).
Nos hemos puesto en contacto con el propietario, quien dice querernos vender la casa "en negro", operación que no nos podemos permitir además de ser ilegal.
Tras negarnos en rotundo y hacerle saber que nuestra negación aplica a la cláusula última detallada, le requerimos que nos devuelva el dinero. Este señor se ha gastado ese dinero y no lo puede devolver, se acerca la fecha tope y creemos justificadamente que vamos a tener que denunciar al propietario por incumplir su parte del contrato.
¿Cómo se procede en estos casos?
Tenemos entendido por algún conocido que si el IVIMA tuviera constancia de ese contrato (compra-venta por importe muy superior a la escrituración/tasación en vivienda de protección), este señor perdería automáticamente su casa y nosotros el dinero.
¿Es eso cierto?