Cancelar el contrato de la compra de una vivienda con cláusula peligrosa

Quería plantear una consulta acerca de una compra de una vivienda que se hizo en Septiembre 2007, cuestión que también sería importante tener en cuenta ya que no se si ha podido prescribir el plazo para ejercer cualquier acción.

Se firmo un contrato de compra de una vivienda, con una señal para la reserva de 6000e, sirviendo el contrato como eficaz carta de pago. Estableciendo el contrato en la clausula Nº 2 letra B) que el resto del pago de la vivienda, deberá estar desembolsada a la firma de la escritura.

Pues bien, mi pareja al poco tiempo de firmar el contrato se quedo en paro (momento en que ya la crisis iba afectando a la economía..) por lo que dejamos un poco aparcado el tema de la hipoteca ya que sin contrato no había manera de que nos dieran una hipoteca. Ya en 2010 cuando tenía de nuevo contrato nos acercamos a mirar hipotecas y eran altísimas, con grandes intereses, por lo que siendo una pareja joven, de menos de 30 años no podíamos aceptar ya que mi pareja no tenía un empleo fijo y la hipoteca de algo más de 800e se llevaba el sueldo... Por lo que era una locura...

Después de esto ya le dijimos al vendedor que no queríamos la casa, pero lo que me extraña es que no firmáramos ningún contrato de cancelación.

Yo llame personalmente al vendedor para exigirle la devolución de la señal, y con tono amenazante me dijo que no tenía nada que hacer, que el no me iba a devolver y a las malas tendría que pagar todo el dinero de la casa...

Le comento las clausulas establecidas en caso de no llevarse a cabo la compraventa por causa del comprador:

"Si el responsable del incumplimiento fuese el comprador, el vendedor quedará facultado para exigir en ese momento el resto de las cantidades pendientes de pago, o resolver el presente contrato con una retención del 25% de las cantidades entregadas por aquella en concepto de indemnizaciones de daños y perjuicios. Se entenderá en todo caso que el incumplimiento es imputable a los compradores en caso de falta de pago de cualquiera de las cantidades correspondientes al precio de la vivienda y en el supuesto de la no comparecencia a la firma del contrato privado de compraventa en el plazo establecido en el apartado B de la clausula segunda."

Esto ultimo me tiene un poco asustada, por lo que mis dudas son que puedo hacer para que esta persona me devuelva la señal, y si estoy en condiciones para hacer algo, no sea que por ejercer mis derechos tenga que pagarle yo el resto del precio de la casa... Cosa que para mi sería imposible..

Muchísimas gracias espero vuestra respuesta que me sería de gran utilidad