¿Cuándo surge la obligación de devolver a hacienda ingresos indebidos?

Era socio de una cooperativa, pero ante el retraso de la entrega compre otra vivienda. Me desgrave inicialmente por la cooperativa y después cuando compre la nueva vivienda deje de desgravarme por la cooperativa y después lo hice por la nueva vivienda. El caso es que no cause baja en la cooperativa hasta años más tarde, si bien ya no me desgravaba por ella, si por la nueva vivienda. Otros años más tarde desde que pedí la baja me abonan la cantidad que tenia en la cooperativa. Mi pregunta es la siguiente, ¿cuándo surge la obligación de devolver lo desgravado indebidamente por la cooperativa? Me acabo de dar cuenta que al no haber comprado aquella vivienda no correspondía esa deducción... ¿Quiero regularizar todo pero desde cuando surge la obligación de devolverlo? ¿Desde qué compro la otra vivienda y se entiende que ya la cooperativa no sera vivienda habitual? ¿Desde qué causo baja en la cooperativa? ¿Desde qué me abonan ahora, años más tarde, el importe que tenia? De todo hace más de cinco años, a excepción claro de la devolución del importe que me lo hacen ahora y es por ello que me surge la duda... De cualquier forma reste aquel importe del precio de la nueva vivienda para no desgravar más, pero aun así he visto que corresponde devolver la deducción...