¿Tengo obligaciones sobre algo que no he heredado legalmente?

Supuestamente heredé parte de una casa. Esa casa era de mi bisabuelo que la dejó en herencia a mi tío fallecido en accidente y casado con POR (pedimos certificado de últimas voluntades y no hay nada). El matrimonio no tenía hijos. Mi tío siempre dejó vivir a mis padres ahí y no se exactamente las condiciones.
Mis bisabuelos tuvieron tres hijos: Mi padre, mi tía (ya fallecida, que tiene 5 hijos) y mi tío (sin hijos).
A la muerte de mi tío, su esposa X pasó a ser usufructuaria y dijo que ella seguiría ejerciendo sus derechos hasta su muerte.
Mi madre repartió la herencia en vida. A mi me tocó la casa de los abuelos a medias con los primos de una tía fallecida. Todo este reparto esta hecho de palabra y con el tema de la casa sin arreglar que está cerrada desde que falleció mi madre, por lo que la casa ha sido declarada en ruina y parece ser que la usufructuaria ha alegado no sabemos qué y me ha llegado una carta para que me haga cargo del derribo.
¿Soy responsable de algo que no he heredado legalmente? ¿La usufructuaria no tiene responsabilidad alguna? ¿Mantengo la responsabilidad aunque renuncie a la herencia?