¿Le pago el IVA estando la factura a su nombre?

Me estoy construyendo una casa y mi hermano hace un año acabó de construir la suya por lo que le sobraron varios materiales. Hace un mes necesité unas planchas para poner suelo radiante y a el le habían sobrado muchas por lo que me las vendió. Ahora, cuando le voy a pagar, me dice que él tiene la factura y que le debo pagar las planchas correspondientes más su IVA, yo creo que si la factura está a su nombre y no al mio, lo debe de pagar él, independientemente de que me las haya vendido a mi, el problema es que como cada uno tenemos una opinión no nos ponemos de acuerdo, y yo tampoco soy capaz de explicarme con razones. Lo único que le he podido decir es que si yo le voy a pagar ese dinero y no voy a tener una factura a mi nombre no lo voy a poder sacar de mi hipoteca y por lo tanto no lo voy a poder desgravar, pero él dice que ese IVA a él nadie se lo a devuelto y no lo desgrava, ¿Me podría decir quien lleva razón y cual seria la explicación? Gracias y un saludo.