Es necesario darse de alta en el IVA si no eres autónomo?

Quería saber si alguien puede orientarme por favor:

Tenemos unos 30 olivos en Extremadura, no es ni media hectárea, herencia de mis padres. Cuando recolecto la cosecha la llevo a una almazara, que es una cooperativa de la que soy socia y lo canjeo por aceite para autocomsumo.

Este año me dicen que tengo que darme de alta del IVA en Hacienda para vender aceitunas, pero yo realmente no las vendo, no soy autónoma ni empresaria, sólo canjeo aceitunas por aceite, ya que suelen ser cosechas pequeñas. ¿Realmente tengo que dar de alta el IVA o en este caso no me afectaría?, ¿No basta con incluirlo en la declaración de la renta?