¿Qué pasos a seguir tras la compra de una casa con riesgo de derrumbe?

Hace menos de quince días, compré una casa. Bien es cierto que es una casa vieja, a la que teníamos claro que había que meterle una buena reforma, y aunque el día de la visita a la casa, vimos algunas grietas, nada nos hacía presagiar lo que descubriríamos una vez que la compramos. La casa cuando la vimos estaba llena de trastos(lo usaban como trastero) y el día de la entrega estaba toda vacía con las paredes a la vista y todo visible... El piso de arriba tenía como suelo un sintasol, que al quitarlo para poner nuestro suelo, descubrimos una serie de grietas/fisuras/ que se unian a la pared y menos visiblemente también recorrían el techo. Una de las paredes del baño al encender una linterna, se refleja la luz a través de la grieta al otro lado de la pared... Nos dimos cuenta de que las puertas no cierran, tanto la de la habitación, como la del baño y la calle... En el suelo de la planta baja cada día se suelta una baldosa distinta y al pisar se tambalea...

Los que nos vendieron la casa alegan que "me han vendido una casa y no un jersey que se pueda descambiar así como así"... Llamé a un arquitecto técnico y al ver la casa y analizarla... Me dijo que el terreno estaba cediendo y que en un tiempo medio podría desencadenarse lo peor...

Hace unos días me llamaron de la notaría de que ya podía ir a pagar los honorarios para recoger la escritura, eso entiendo que lo tengo que pagar, pero ¿también tengo que pagar el 9% del ITP(ES CASTILLA LA MANCHA)? Yo quiero que con el informe que me haga en unos días el arquitecto pasárselo a las vendedoras y se den cuenta de que el "jersey" que me han vendido tiene muchos vicios ocultos y no reúne condiciones para nuestra integridad física.

Siento haberme extendido tanto, si alguien pudiera asesorarme sobre como volver todos los pasos hacía atrás y que las vendedoras me devuelvan el dinero que les page por la "casa".