Construcción en una parcela rustica

Que tengo par ver si me la puedes aclarar: tengo un terreno con un total de 14.500 metros cultivado de melocotones, hace 6 años hice un proyecto para la construcción de una nave de aperos ( es lo que me permiten en este terreno al ser rustico), me lo visaron y lo entregué en el ayuntamiento el cual me dio la licencia de obra, el caso es que he construido una casa en vez de una nave de aperos y ya han pasado más de 4 años desde que la termine y nunca he tenido ningún problema, tan solo una vez que llego el seprona para pedirme la documentación y al enseñarle la licencia de obra pues más bien se sorprendieron, me dijeron (es la primera licencia que encontramos en la zona), bueno mi duda es : si han pasado ya más de 4 años desde que se terminó la obra y más de 6 desde que me dieron la licencia ¿hay alguna posibilidad de que esta infracción prescriba?