Incumplimiento presupuesto firmado

Me estoy construyendo una casa en la que yo soy el promotor y subcontrato a diferentes personas para cada parte de la casa.
El problema me ha surgido con el albañil. Hace cosa de dos años le firme la aceptación de un presupuesto de parte de la albañilería de la casa, pero al poco tiempo nos dijo que haciéndolo por administración nos saldría mejor de precio y lo único que tendríamos que hacer era pagarle a el y a su peón a "x" la hora y suministrarle los materiales.
Ahora mismo así lo estamos haciendo, pero su forma de trabajar deja bastante que desear. Empezó 5 meses más tarde de lo que debía porque se le alargo demasiado una obra anterior, nos cobra horas de más y al trabajar por administración (a tanto la hora) se escaquea todo lo que puede y un poco más. Quiero echarle de la obra ya, pero tengo miedo de que me denuncie por haber incumplido el presupuesto que le firme hace dos años.
¿Qué puedo hacer?