Cuanto me costaría quitar mi nombre de la hipoteca y de la escritura de mi antigua vivienda?

Sí deberías arreglarlo, porque tener una hipoteca de una casa que ya no te pertenece es todo un peligro... sigues teniendo la deuda pero no el bien que la respalda, no te conviene por si a tu ex le vienen problemas económicos y deja de pagar, por ejemplo.
El coste puede ser importante, unos 1.500-2.000 euros fácilmente, pero te conviene hacerlo por precaución como te digo, además de por la razón que indicas. El problema puede plantearse si el banco considera que tu ex no es suficientemente solvente como para hacerse cargo de toda la hipoteca él sólo, por lo que pueden pedirle algún aval adicional e incluso subirle el tipo de interés que paga por el préstamo. Todo depende de la deuda que quede, el valor del piso, la situación económica de tu ex, etc. Consultadlo con la entidad.