Me quieren echar de una casa abandonada

Hace unos meses ocupé una casa abandonada, en medio de la sierra. La casa llevará abandonada como 60 años, según los viejos del lugar, así como el terreno, donde no hay vestigios que de halla sido cultivado en décadas. No hay vecinos en varios kilómetros la gran mayoría fueron expropiados hace años, pues pasa una autovía relativamente cerca.
La casa estaba hecha una ruina. Tan solo quedaban en pie algunos muros. Yo limpié todo de matas, que me llegaban hasta el cuello, despejé la zona, la reconstruí con las mismas piedras que encontré alrededor, con cemento, encalé, como vigas para el techo usé ramas de encima y tejas que recogí yo mismos de otras casas abandonadas del alrededor. Puse un medio suelo con baldosas que encontré. Puse puertas y ventanas, restauré la pila de lavar/fregar, la chimenea, me puse una hamaca para dormir. El cuarto de baño es el monte. También acondicioné un poco de tierra para un huerto, y me traje un bidón de agua, que tengo que llenar a mano de arroyos cercanos, mientras encuentro un pozo. La casa no dispone de alcantarillado, y la luz eléctrica es de una placa solar.
El caso es que llevaba así cuatro meses. No pedí permiso para reconstruirla a nadie, y nadie me molestó en las tres semanas que duró la restauración, pese a que se me ve bien desde la autovía, pues está en una loma. El caso es que ya llevo viviendo aquí una temporada continuamente, y vino una patrulla de la Guardia Civil y me dijeron que me tenía que ir, que eso no era mio. Yo dije que no me iba a ir, que era mi casa, que no era de nadie, que estaba abandonada y que yo la restauré y me quedé a vivir porque nadie la quiere. Me pidieron la documentación, me dijeron que me denunciarían y que el juez decidiría, y se fueron.
¿Qué me puede pasar? ¿Me obligarán a que me vaya? ¿Me pondrán una multa? ¿Me la derribarán? Gracias.
P.D.: Soy insolvente, no tengo trabajo ni vienes, apenas me quedan mil euros en la cuenta.