Contrato de arras

Hace diez días, firmé un contrato de arras con un interesado en adquirir unos terrenos que tengo a la venta, el importe que recibí de este contrato fue del 4% de la venta. Ahora el comprador dice que no le interesa el terreno pues debe abonar el impuesto de transmisiones y que eso no era lo pactado, pues el "supuso" que el precio de venta era el total que el debía pagar, incluido el impuesto, cosa esta que no aparece para nada en el contrato de arras ni se habló en ningún momento. Solicita le devuelva el dinero acogiéndose a que no se ha cumplido la fecha estipulada en el contrato de arras para la firma de la escritura, firma que se retrasó debido a unas comprobaciones que él mismo solicitó, diciendo que él se presentó en la notaría a firmar (¿) siendo que el notario no nos había citado para la firma. Debo devolverle la señal? (Durante este intervalo he perdido dos compradores interesados a los que se les dijo que el terreno ya estaba vendido -se hizo por mediación de agencia inmobiliaria).