Me han dejado la obra recién empezada

HE contratado ( firmado presupuesto) con una empresa la reforma de albañilería, fontanería y pintura de un piso que he comprado. El primer día vino el albañil (autónomo) y derribo los tabiques, me dijo que no le salían las cuentas y que tenia que aclararlo con el empresario que le ha proporcionado la obra. El segundo dia se llevo todas las herramientas y me ha dejado el todos los escombros de tabiquería en el suelo un autentico desastre. El empresario argumenta que le hemos presionado nosotros exigiendo mucho y que se ha ido muy enfadado. Adelanté a la empresa 5.000 euros y me dice que el lunes va a ir con otro albañil si acepta empieza al dia siguiente, y si no me devuelve el dinero y que me busque otro. Tengo solicitado permiso de obra mayor ( aun no tengo licencia definitiva) tardan varios meses. La situación es lamentable espero que el lunes lo solucionen, no obstante me gustaría saber como procedo si no me dan solución. ¿Deberían retirar al menos los escombros antes de rescindir el contrato? ( Realmente es un presupuesto firmado ya que no lleva fechas de comienzo y final)

Pedí varios presupuestos que ya he descartado, empezar de nuevo, y encima con la casa llena de escombros me va a causar problemas y perdida de tiempo.

¿Cómo puedo asegurame de que esto acabe lo mejor posible y sin mas quebraderos de cabeza?