Herencia recibida y usufructo en dicho inmueble

Buenos días,

En el año 1999 compré un piso y constituí usufructurarios a mis padres (mi madre tenía 63 años y mi padre 72) siendo yo nudo propietario.

Falleció mi padre hace unos meses (a los 87 años) y toca hacer la lectura del testamento. Mis padres hicieron testamento mancomunado haciendo el reparto de las propiedades. En dicho testamento mis padres dicen que me adjudican ese piso (pero soy desde que lo compré el nudo propietario) El notario me ha dicho que ahora que ha fallecido mi padre no me tocará pagar pero cuando fallezca mi madre (tiene ahora 78 años) me tocará pagar bastante, por el hecho de que pusieron ese piso en el testamento, si no lo hubiesen mencionado solo se habría procedido a la cancelación del usufructo y no habría sido tanto el gravamen.

Mi pregunta es: ¿hay algún modo de evitar pagar tanto (legalmente)? ¿Cuando fallezca mi madre, de cuánto estaríamos hablando a la hora de pagar? (ponedme algún ejemplo con números

Gracias y un saludo