El Constructor Quiere Que Le Devuelva el Adelanto.

En el año 2003 firmé un contrato de compraventa, por lo cual detalla de que yo, el vendedor vendía mi terreno por 150.000 euros, y el comprador que es un constructor, me daría un adelanto de 20.000 euros, cosa que hizo. Pero los años pasaban y el constructor no dio ninguna señal de querer comprar el terreno, luego en el año 2010 me ofrece pagarme solo 60.000 euros, de los cuales me descontaría los 20.000 euros adelantados anteriormente, por supuesto me negué. En ese mismo año también me manda una carta por parte de un notario para que yo entregue el titulo de propiedad, como si hubiera aceptado su última oferta, no pude acudir ante el notario por motivos personales. Posteriormente en el año 2022 me llega una carta por parte del juzgado, en el que expone que el constructor presentó una petición de conciliación judicial. Voy a la conciliación, en el que el abogado del constructor exige que le devuelva el adelanto al constructor con amenaza de demanda, además me echa la culpa del incumplimiento de contrato, ya que alega que fui yo quien me negué a vender el terreno, y que en caso de que no tenga el dinero, quiere quedarse con mi terreno. ¿El constructor tiene base legal para que le devuelva el adelanto o quedarse con el terreno, después de haber sido él quien incumplió el contrato?