¿Qué puede pasar?

Hola, buenas noches
Verá, mi caso es el siguiente: yo tenía dos propiedades, una mi vivienda habitual y otra un solar. En su día hablé con un constructor que estaba interesado en dicho solar y llegamos a un acuerdo mediante el cual yo le entregaba el solar y a cambio él tiraba y hacía nueva mi vivienda habitual y además me entregaría un apartamento (de los 5 que pensaba construir en el solar). Así se hizo y se firmó en su día con sus correspondientes proyectos y demás, añadiendo a este acuerdo firmado amte notario que la entrega del apartamento sería en octubre de 2007 y que cada mes que superara esa fecha, él debía pagarme 600 euros por mes de demora.
Bien, la entrega del apartamento aun no se ha producido y parece ser que será para finales de este mes. Yo he hablado con este constructor y le he comentado que existía una demora en la entrega y que debía abonarme los 600 euros que se firmaron en su día y de todos y cada uno de los meses puesto que aún no me ha abonado ninguno de ellos. La cuestión viene ahora; él no se niega a pagar esa demora pero me "amenaza" y me dice que si yo le pido ese dinero él me pedirá la cuantía de las mejoras que incluyó en la realización de mi vivienda habitual. En su día se firmaron unos proyectos y es cierto que en mi vivienda habitual metió mejores materiales y una serie de cosas (aire acondicionado, parqué... Etc) que nadie le pidió y que no estaban en proyecto como digo, pero las puso.
Ahora tengo miedo porque no sé si puede llegar a hacerlo y tendría que abonar dichas mejoras aunque yo no las pidiera ni se firmaran, o en otro supuesto pudiera quitármelas ya que como digo no estaban en el proyecto.
Espero haberme explicado bien. Siento haber sido un poco extenso.
Un saludo y muchísimas gracias de antemano