Comision de cancelacion

Hola, he adquirido hace poco una vivienda.el constructor tiene hipotecada dicha vivienda con una entidad bancaria distinta a la que yo soy cliente y con la cual voy a firmar mi hipoteca. Según el susodicho, si no acepto subrogarme con su entidad bancaria me obliga a pagar la comisión de cancelación y demás gastos notariales de la hipoteca actual que en su día le fue concedida a el. Me han dicho que no los pague porque es ilegal, esos gastos debe de ser él el que corra con ellos y no yo. ¿Qué hay de cierto en ello? ¿Es ilegal y me debo de negar a pagarlos?