Vivienda procedente de permuta ¿Iva o itp?

Voy a comprar una vivienda de obra nueva ya terminada. Me la vende el dueño del solar que recibió unos pisos por la entrega del mismo a través de una permuta. He realizado el contrato de compraventa y me dice que le tengo que pagar el IVA, ya que él es promotor ¿Esto es así o debería pagar el Impuesto de Transmisiones? Si ahora le pago el IVA y después me reclaman el ITP ¿Qué pasaría? Quiero evitar estos contratiempos ¿Qué puedo hacer?
Si finalmente fuera como él dice, no lo dudo, cómo tendría que constar él en el contrato de compraventa y en la escritura ¿Sólo su nombre y domicilio? O tendría que aparecer su nombre y añadir además "en calidad de promotor".
Ya he firmado el contrato de compraventa y ahora me asaltan las dudas. No quedará mucho para la firma de la escritura.
He leído algo sobre el tema y no me queda nada claro. Cosas como que si el ejerce actividad profesional de promotor es como él dice, es decir, debo pagarle el IVA. También he leído que en ese caso, al ser yo particular, no proceería la exención, etc... Determinados supuestos en los que se considera primera transmisión, pero tampoco me quedan claros...