Como cambiar de arquitecto si ya tenemos contrato?

Contraté un arquitecto y firmé contrato con él para la ejecución de una segunda residencia en una parcela que tengo desde el principio le dije por el importe que quería construir y él me ha presentado una construcción de muy buenas calidades pero del doble del precio que yo le pedí, ahora me dice que no hay manera de reducirlo porque ha subido todo mucho, en vista de esto, yo ya no quiero seguir con él porque no me aporta ninguna solución, pienso que aunque me ha presupuestado unas calidades altas siempre habrá opciones, por ejemplo, en el aislamiento que me ha presupuestado poliexporeno inyectado, sate y lana, pero estoy perdida y no sé por dónde mirar y ni siquiera sé si puedo romper las relaciones con el. Incluso estoy tan ofuscada que desearia no hacer ya ni la casa pero, perderia el dinero pagado al arquitecto y el icio también ya pagado.