¿Cómo puedo negarme a pagar una factura desproporcionada?

He comprado una casa a través de un intermediario vendedor y apoderado para ejercer la venta de la casa. Durante la negociación acordamos que yo me haría cargo de la mitad del coste del Certificado de Eficiencia Energética, ya que la propietaria de la casa estaba en desacuerdo con ese gasto. Ese acuerdo no lo dejamos firmado en ningún sitio, pero yo quiero cumplir mi promesa. El arquitecto que lo llevaría a cabo es un conocido del intermediario vendedor intermediario. Me dijo que serian unos trescientos y pico euros. Yo le dije que me parecía excesivo pero me aseguraba que su amigo era muy bueno y el desplazamiento también había que tenerlo en cuenta. Después de la entrega del certificado (que se utilizó para la firma de ca casa) me entrega la factura a través de correo electrónico con la suma de 440 euros a dividir en 2 partes. Cada factura consta de Honorarios de 175 + IVA + 50% de la tasa = 220 euros.
Después de llamarle para pedirle explicaciones me dice que tuvo que ir un domingo (yo no se lo pedí) y que sus trabajos son mejores que los de otros arquitectos, y que por eso me cobraba eso. Dice que el avisó que serian más de trescientos, pero cuando le sumamos el IVA y la tasa el resultado son los 440 euros
El certificado me lo entrego el día 2 de abril para la firma del notario. La factura me la entrego el día 14 de abril a través de email. La factura tiene fecha de día 14 de abril y no tiene fecha de vencimiento. Todavía no le he pagado. Si no estoy de acuerdo con esa factura, ¿puedo hacer algo para no pagarle esa cantidad abusiva de dinero? Lo normal en ese tipo de trabajos son unos 90-120 euros...
He escrito un mail al arquitecto explicándole mi disconformidad y ofreciéndole una cantidad más baja de dinero, pero no me ha contestado.