Los gastos de cancelación. Soy el comprador

Hola, tengo una duda con la cancelación de la hipoteca de la parte vendedora, a ver si me podéis ayudar por favor, el tema esta en que nos compremos un piso hace 6 meses, y al vendedor le retuvo mi caja un dinero para cubrir los gastos de cancelación, ahora han llegado los papeles y el gasto de cancelación es el doble, para empezar mi caja me lo ha cobrado a mi, dice que es el procedimiento de dicha entidad y que no lo pueden abonar, tanto la caja como yo hemos hablado con el vendedor y este se niega a pagarlo, dice que es un error de la caja y que no me lo va a pagar, la caja tampoco me lo va a abonar, leyendo la escritura poner clarísimo que la parte vendedora cargará con los gastos de cancelación, ¿qué puedo hacer? ¿Cuáles son los pasos a seguir? ¿Denuncia? Voy a ljuzagado y mando un documento al vendedor, ¿pongo un queja en la caja?.. Uf estoy hecho un lio y ya nos han sacado el dinero nuestra propia caja