Devolución IVA bienes de inversión

Tengo una actividad profesional, hace 5 años compre un local que acababan de construir y me deduje el IVA soportado, a los pocos meses me ofrecieron otro local que era más comercial bajo mi punto de vista. Realice la inversión en el segundo local y hoy es el domicilio de mi actividad. El primer local sobre el que practique la deducción de IVA lo tengo parado. Inspección de Hacienda me reclama el IVA que deduje de este local. Lo tengo que devolver??? Me lo imputa como persona física a mi patrimonio y por ello debo devolver el IVA deducido??

Gracias