¿Paga plusvalía el usufructo cuando pasa al nudo propietario?

En primer lugar, debo agradecer la oportunidad de preguntar a un experto. Gracias.

Mi caso es el siguiente: Mi padre era el dueño de la casa en que vivíamos, heredada de sus padres y abuelos, no siendo, por tanto un bien ganancial, sino privativo suyo.

Mi padre fallece en 1993, dejando a sus hijos (mis hermanos y yo) la nuda propiedad de la casa, y a mi madre el usufructo vitalicio. En aquel momento hicimos la declaración de herederos, pero no pagamos ninguna plusvalía porque el Ayuntamiento no nos lo notificó.

En 2011, 18 años más tarde, fallece mi madre, por lo que el usufructo revierte a sus hijos, que ahora somo dueños de la plena propiedad.

En 2013 el Ayuntamiento nos quiere cobrar la plusvalía de la vivienda que los hijos heredamos hace 20 años, alegando que la plusvalía está basada en la extinción del usufructo de mi madre, y el paso de este usufructo a sus hijos.

Mi pregunta es: ¿El paso del usufructo de la madre que fallece a sus hijos, que son los nudos propietarios paga plusvalía?, o lo que es lo mismo: ¿Tenemos qué pagar los hijos la plusvalía ahora, 20 años después de heredar la casa?.

Reciban un cordial saludo.