Cambiar de nombre vivienda avalada

Soy avalista de una vivienda de la que se debe casi el total de la hipoteca. Y que llevo pagando ya varios meses, porque su dueño se ha desentendido totalmente de ello... Y ahora debo pasar a mi nombre dicha vivienda para ahorrarme futuros problemas por otras deudas pendientes del titular... Tengo un poder notarial firmado por el titular para poder firmar yo en su nombre cualquier papel referente a la vivienda, y va incluida la autocompra... Un abogado me ha recomendado hacer el cambio de nombre pero sin utilizar el poder, porque dice que es mejor que la otra parte me lo venda directamente. El caso es que esto ya es una pesadilla para mí y no me apetece tener a esta persona cara a cara.. Mi pregunta es si puedo utilizar el poder sin tener que temer nada en el futuro (Aunque sólo lo utilice para defenderme de problemas posteriores), o es mejor que haga un esfuerzo y quede con el titular de la vivienda para hacer la compra venta...