¿Tengo la obligación de devolver el dinero del paro correspondientes a los días que mi mujer trabajo?

Hola, durante un tiempo estuve cobrando el dinero x desempleo y ahora el INEM me pide que devuelva lo correspondiente a los días que mi mujer estuvo trabajando. En la época que paso esto yo estaba en una situación mala con mi mujer, (a día de hoy en tramites de separación ) y ella no me comunicaba nada de cuando estaba trabajando o cuando dejaba de trabajar y durante ese tiempo yo tenia que comunicar que ella trabajaba par que me suspendieran la ayuda durante el periodo ese. Mi pregunta es tengo la obligación yo de devolver ese dinero si yo no tenia constancia del trabajo de mi mujer, porque teníamos mala relación. De esto ya hace mas de dos años y aun sigo pendiente de la devolución. Un saludo y gracias