¿Qué hacer con un terreno que era urbanizable y ahora es huerta protegida?

Dispongo de un terreno que tenía la calificación de urbanizable que está pegado al campo de fútbol de una población de unos 3.000 habitantes, como no resido en el pueblo mi terreno se ha estado utilizando como aparcamiento sin recibir remuneración alguna por ello durante mucho tiempo, circunstancia que he puesto de manifiesto por escrito en infinidad de ocasiones al Ayuntamiento que ha tenido la indecencia de echar gravilla sin mi consentimiento. Ahora después de muchos años me he encuentro con la oferta de que quieren comprar el terreno y legalizar la situación pero la sorpresa es que el terreno ha pasado de ser urbanizable a huerta protegida por lo que quieren pagarme la mísera cantidad de 300 euros por año por alquilar. ¿Puedo exigir responsabilidad patrimonial al ayuntamiento por el uso de mi propiedad durante tantos años? ¿Qué puedo hacer?