Finalización contrato y clausula por marcha anticipada

Empecé a trabajar pero a la semana quise irme, le dije al empresario si me hacía los papeles para que pudiera cobrar la prestación y me dijo que sí, pero que le tenía que abonar una clausula que había en el contrato por importe de 500 euros, en concepto de marcha o abandono. Ël me dio los papeles y yo no pude pagarle pero a día de hoy dice que me los va a reclamar vía judicial porque además firmó un despido que no debería haber sido así.

¿Se los tengo que abonar?.