Poder notarial sobre la herencia de mi padre

Paso a explicar el caso: mis abuelos por parte de padre, ambos fallecidos hace mucho tiempo, tenían una casa en su pueblo. Mi abuelo murió primero y mi abuela después, desconozco si con o sin testamento, pero creo que sin él en ambos casos. Mi padre murió después que ellos hace ya 16 años con testamento, según el cual dejaba su parte de la casa en usufructo de por vida a mi madre (una casa comprada por ambos y en régimen de gananciales) y se establecía que su herencia se repartiría entre los 5 hermanos que somos a partes iguales. En ningún caso hemos tenido noticias de la casa de mis abuelos en todos estos años, ya que siempre hemos pensado que esta casa la vendió mi abuela a uno de sus hijos (mi tío) y de hecho en el cuaderno particional que firmamos cuando murió mi padre, dicha casa no se menciona porque siempre pensamos que no formaba parte de la herencia de mi padre. Ahora resulta que los hijos de mi tío se han dado cuenta después de todos estos años, de que la casa sigue escriturada a nombre de mi abuela y quieren arreglar los papeles y ponerla a nombre de ellos. Al parecer cuando murió mi abuela, mi tío pagó a cada uno de sus hermanos un dinero por la parte de la casa que les correspondía, pero ni hicieron escritura de compraventa ni escrituraron de nuevo la propiedad y lo único que existe es un recibí sobre ese dinero, firmado por cada hermano. Yo este recibo firmado por mi padre no lo he visto, pero en principio tampoco pongo en duda lo que me han contado mis primos con los que mi relación es buena. El tema es el siguiente: para arreglar todo este desaguisado, mis primos nos han pedido a los 5 hermanos y a mi madre que les firmemos un poder notarial para poder intervenir en las herencias de mi abuela y de mi padre, con el fin de dividir la comunidad de bienes que existe sobre la casa de mi abuela. Nosotros nos hemos negado, no porque queramos reclamar la parte de la casa (no tenemos intención de reclamarla, porque ellos han vivido en ella, la han arreglado, la han mantenido, han pagado recibos de contribución, etc), sino porque creemos que es prudente ni viene al caso dar a nadie ajeno poder sobre la herencia de nuestro padre. Mi pregunta es ¿hay alguna manera de arreglar esto sin tener que dar el poder que nos piden o es el único procedimiento para hacerlo? Tenemos entendido que lo correcto sería que solicitaran la elevación a público de los documentos que acreditan que los hermanos recibieron en su día un pago por su parte de la casa y después soliciten un expediente de dominio sobre la casa. ¿Qué consecuencias podría traernos el que firmáramos ese poder notarial que nos piden?. ¿Tendríamos qué declarar a Hacienda como si estuviéramos recibiendo la casa con el valor actual?.