Gastos de cancelación hipoteca. ¿Delos compradores?

Hace poco hemos comprado un piso y la gestoría de nuestra entidad bancaria nos ha cargado una cantidad importante bajo el concepto "Cancelación de hipotecas". Son los gastos de gestoría, notaría y registro para cursar la cancelación de las hipotecas que el expropietario (vendedor) tenía sobre el inmueble y cuya cancelación financiera sí que está ejecutada.
El caso es que en toda la documentación escrita (incluida la escritura de compraventa) pone bien claro que este cargo corresponde a la parte vendedora. Nunca hubo pacto en sentido contrario.
El banco nos ha explicado que "era nuestra responsabilidad" informarles de que los gastos correrían por parte del vendedor (cuando lo ponía en la escritura que ellos mismos habían redactado y es la norma salvo pacto contrario) para haberle descontado ese importe del cheque de "beneficios" que cobró el día de la escritura.
Sabemos que el banco ha contactado con el legítimo deudor (el vendedor, tal y como figura en la escritura) y que éste se niega a pagarlo ya que los considera "un error del banco".
Pero, entre tanto, nos han quitado ese dinero de nuestra cuenta a nosotros dándonos a entender que "el problema es nuestro" si el vendedor no nos lo quiere pagar después. Es decir, nos han forzado a ser intermediarios, o responsables solidarios, en una relación acreedor (gestoría del banco) - Deudor (vendedor) en la que entendemos no deberíamos de estar involucrados.
Nuestras preguntas son ¿Esto se puede hacer? ¿Es nuestra responsabilidad cargar con esta deuda de un tercero y rezar por que pague? ¿Pueden convertirnos en deudores (de la gestoría) y en acreedores (del comprador) por un concepto que nunca hemos asumido? ¿Era nuestra responsabilidad matizarle al banco lo evidente (que un gasto legalmente del vendedor lo tenía que pagar el vendedor) para que no le dieran más dinero del que le correspondía en el cheque el día de la firma? ¿Qué podemos hacer si nos nos dejan devolver el cargo, por considerarlo improcedente?