¿Puedo renunciar a un usufructo?

Hace un año obtuvimos es usufr ucto durante 30 años de un piso. EL caso es que solo nos está ocasionando problemas y gastos. Se incendio el piso de un vecino y tenemos que pagar por vecinos morosos, al ser una segunda vivienda, el ayuntamiento nos cobra un IBI brutal, seguro, comunidad, lo alquilamos y tuvimos que pagar abogado y procurador para deshauciar a los inquilinos por impago...... Vamos, una barbaridad. Estamos pensando en renunciar y queríamos saber si supone algún coste para nosotros, (notario o impuesto de transmisiones.....) o lo pagarían los propietarios.

Muchas gracias