Incumplimiento contrato de arras para la compraventa

Hace unos días firmé una contrato de arras penitenciales para la reserva de una vivienda y tenia unos días para depositar la entrada que serian unos 13.400 euros, como digo después de haber firmado el contrato me entraron las dudas pasó la fecha limite y no hice la transferencia, le dije al de la inmobiliaria que lo sentía, pero que no estaba convencido en comprar la casa que le dijera al dueño que si tenia que pagarle algo por el traslado en gasolina (vive en otra localidad y tenia que desplazarse a la casa) pues que se lo pagaría o cualquier otra cosa, al cabo de unos días el dueño de la vivienda le dijo a la inmobiliaria que al haber firmado el contrato de arras me iba a denunciar por no haber hecho la transferencia y no quedarme con la casa y tendremos un acto de conciliación, ¿mi pregunta es? ¿Qué consecuencias podría tener el no haber hecho la transferencia y haber firmado? Aunque el dueño me amenace no voy a comprar una cosa del que no estoy convencido del todo.