Alquiler de terreno

Hola, quería hacer una consulta porque tengo problemas con el hombre que me alquilo una zona para mis caballos, le explico.
Hace 5 años yo alquile con dos personas más un terreno para meter los caballos, en el cual hicimos unas cuadras, los dos compañeros se fueron y le dejaron a deber 5 meses, y yo he seguido pagando, he puesto para mejora de mis caballos bebederos electrónicos, comederos reforcé todas las maderas hice puertas nuevas etc. Es decir que mejore todo en lo cual el propietario de la finca a estado haciendo uso y disfrute de todo esto porque metió su caballo, ahora me sube el alquiler, lo cual solo tenemos contrato de palabra, y como a mi no me combence me e buscado otro sitio y acabo el mes y me voy, pero le he dicho que los bebederos, los comederos y las puertas y todo lo mio me lo llevo, y el dice que no tengo ningún derecho a llevarme nada que aunque lo haya puesto yo que lo que hay en su terreno es suyo, y me ha amenazado con llamar a la policía y decir que le estoy robando. Qué tengo que hacer,? Que derecho tiene el, ¿en quedarse mis cosas? ¿Puedo llevarme todo lo que yo he hecho? Espero su respuesta porque me quedan dos días para terminar de sacar mis cosas. Muchas gracias