Pagar la diferencia de metros

Hola, en 2006 firmamos una permuta con una constructora, cambio de solar por la entrega de 2 viviendas, nos debían entregar las casas en junio de 2009. Tras mucho esperar y muchos disgustos e inconvenientes, las casas llevan unos meses terminadas. Como realizamos una serie de modificaciones el constructor nos pide el pago de estas, pero como él también nos debe por retraso en la entrega de llaves (tenemos una cláusula que lo específica en el contrato), le dijimos de hacer cuentas, pero no le gustó la idea y nos amenazó con que si le exigíamos esa cantidad que nos debe el nos iba a cobrar 55.000 € porque las casas son más grandes de lo que en un principio aparecían en los planos.
En el contrato original firmado en 2006 aparece que nos debe entregar unas viviendas con 110 m2, esto se hizo antes de que las casas estuviesen construidas. Pero en un acuerdo firmado a primeros de 2011 acepta que nos va a entregar una casa con 129 m2 y otra con 140 m2, esto fue un acuerdo redactado por una abogada, firmado y aceptado por todas las partes y contemplando los metros reales que resultaron una vez construidas las casas. La duda es que si él aceptó que nos debía entregar las viviendas con esos metros construidos, ¿nos puede exigir ahora el pago de los metros extras? O solo ha sido una estrategia para "asustar", además en ningún momento se nos comunicó nada de esos metros extras ni firmamos nada aceptando esos metros de más.
Muchas gracias por adelantado un cordial saludo.