Venta de olivar y persona que realizaba los trabajos.

Hola buenas noches. Disculpad, soy nuevo y aunque os leo con asiduidad sin saber mucho del tema, necesito haceros una consulta.
Soy propietario de unas 300 olivas en Jaén, herencia de mis suegros. Teníamos a una persona que nos realizaba los trabajos, que pagábamos cuando nos los presentaba. Después nosotros cobrábamos la cosecha. Tras varios años subiendo las facturas y perdiendo entre 1000 y 2000 euros al año, decidí hablar con ésta persona y plantearle 2 soluciones: -Que dejábamos las olivas en barbecho. -Que si le interesaba, que realizara los trabajos y que la totalidad de la cosecha se la quedara él. Las olivas están bastante dejadas y abandonadas.
El año pasado murió mi suegra y las estoy vendiendo, siempre supo que cuando las vendiera las tendría que dejar, y estaba de acuerdo.
He vendido una parcela con 65 olivas a un vecino, y había quedado en que el nuevo dueño me pasara el ticket con la cosecha de esas 65 y pagárselas a ésta persona. El Sábado estuve allí y el nuevo dueño estuvo limpiándolas, cortando servales que a las olivas de las lindes las tenían comidas con troncos de 35 cm de diámetro, quitando las piedras, etc... 6 días de trabajo, las olivas medio calvas, con aceitunas pequeñas y arrugadas, etc...
El caso que me ha llamado la persona que tenía realizándome los trabajos y se ha puesto hecho una fiera porque quería coger las aceitunas él. Yo le he dicho que le voy a pagar la cosecha que salga pero, aunque sabía y estaba al día de todo, me ha amenazado con abogados y de todo. Es una persona con problemas de droga y que ha perdido la mayoría de trabajos que realizaba. Como detalles en resumen: -No teníamos contrato. -Le dejaba el 100% de la cosecha que llevase a su gusto los trabajos. -las olivas en total están abandonadas. -En ningún momento estaban arrendadas.
No sé qué problemas me puede plantear porque esto es nuevo para mí. Cuando me ha pedido el favor para el PER se lo he hecho, cualquier cosa se la he dado, no creo que me merezca un trato así.