Estoy en el derecho de reclamar?

Hace dos meses me interese por la compra de una vivienda y emprendimos negociación con la inmobiliaria. Después de firmar el contrato de compraventa por un valor del total de la vivienda 128000€ se añadió un anexo en el que el propietario quería escriturar por 98000€ya que ese piso todavía estaba hipotecado y dar los 30000€ en negro; en el primer momento no estábamos convencidos de dar esa cantidad en negro puesto que es ilegal, pero de primeras no había otra manera de que el propietario accediese a la venta, por lo que firmamos dicho anexo (en el cual no consta en ningún momento la agencia, si no que es algo solo entre propietario y nosotros). Al final no nos concedieron la hipoteca y tampoco teníamos dicha cantidad en efectivo, así que la solución era escriturar mas alto(lo cual nos pareció una opción para que el propietario accediera a escriturar por el total del valor). Con el plazo ya vencido la agencia nos hizo la propuesta via email de que el propietario había accedido a escriturar por 114000€, pero haciéndonos nosotros cargo de los 2000€ de gastos. Puesto que ya estábamos fuera de plazo y ya nos habíamos hecho a la idea de que no teníamos la hipoteca contestamos que no aceptábamos esa segunda propuesta (todo via email, nada firmado). Ahora el propietario a través de la inmobiliaria reclama la cantidad doblada de 3000€ mas IVA en concepto de arras que se le dio al haber incumplido el contrato. Ayer recibimos un Burofax diciendo lo anterior y que teníamos un periodo de 12 horas para contestar, nosotros contestamos con otro Burofax diciendo que no habíamos renunciado a comprar sino que por su parte las condiciones no se habían cumplido por lo tanto el era el que tenia que devolver el dinero y que el anexo al contrato parecía no tener valor legal. Hoy he pensado en rellenar una hoja de reclamaciones en la agencia ya que ellos solo pueden intermediar pero no condicionar la compra. ¿Voy por el buen camino?, ¿Puedo conseguir que me devuelvan el dinero?, ¿Qué opinan del anexo?.