Quería saber si es legal lo que están haciendo conmigo el Inem

Buenas tardes

Tengo un problema con el Inem. Me reclaman 2,000€ por cobros indebidos porque hice 2 salidas al extranjero, cobrando un subsidio, una vez de 3 días y una vez de 6 días sobre un periodo de 2 años. Resulta que tenia que haber pedido permiso y me hubieran dado un permiso de 15 días para viajar. Esa norma lo desconocía en su momento, nunca me dieron esa información ellos. Hice una carta de alegaciones con una carta de confirmación de la compañía aérea del segundo viaje pero ellos me dicen que no he aportado suficientemente pruebas. Insisten que devuelvo 2.000€. El resto del tiempo he trabajado o estado buscando trabajo activamente (que también he aportado pruebas. Encuentro que no es justo porque si hubiera sabido lo del permiso, claro lo hubiera pedido, no actúe nunca en mala fe. Me gustaría saber su opinión si vale la pena si meterme con juicio o no.