Chantaje familiar por una herencia

Tras fallecer mi padre, mi hermano y yo nos corresponde una vivienda cada uno, de las que mi madre conserva parte de la propiedad y el usufructo mientras viva.

Hace unos 12 años acordé con mi hermano que me entregaría cantidades de dinero para comprarme mi vivienda cuando falleciera mi madre. En total me llegó a entregar máx. 10 mil euros, hace muchos años y en pequeñas cantidades, pero el tiempo ha pasado y las relaciones son peores que nunca y yo no estoy dispuesto a venderle mi herencia, hasta el punto de que estoy recibiendo el siguiente chantaje motivo de mi consulta:

En público, ahora y ante la familia para presionarme, mi hermano afirma que me ha entregado durante estos años 45 mil euros y tendría un supuesto contrato inexistente. Puedo asegurar que no existe contrato alguno y como mucho dos o tres transferencias por valor de 6 o 7 mil euros con el concepto de la vivienda. Creo que está reuniendo todas las transferencias, que haya podido realizar por cualquier motivo a lo largo de los años para llegar a una cantidad parecida y afirmar que ha pagado la vivienda y hasta no sé si se atrevería a falsear algún contrato...

La herencia no se ha ejecutado por que mi madre vive aún y tiene el usufructo.

¿Puede usar cualquier transferencia sin concepto para afirmar que es un pago de la vivienda?

¿Puede obligarme a venderle la vivienda que me pertenece cuando mi madre fallezca?

¿Si no existe contrato alguno, qué obligación tengo de venderle la casa?

Si no quiero venderle la vivienda, ¿a cuánto dinero estoy obligado a devolverle? La cantidad de las transferencias, el que me exige que no es verdad...