¿Tiene qué devolver la agencia inmobiliaria los honorarios si hay un vicio oculto en la casa?

Les explico lo que me ha pasado. El
Lunes 25 de Marzo firmamos un contrato de alquiler de una vivienda
mediante la agencia inmobiliaria Tecvivienda (el inicio del alquiler
sería con fecha 1 de Abril). El piso lo habíamos visitado una vez
de día y a simple vista todo parecía que estaba bien. En la misma
firma el propietario me comentó que al ir a arreglar algunas cosas
se había encontrado un par de cucarachas por la casa y que había
puesto algunos cebos para que no aparecieran más. Después de la
firma decidimos volver a la casa para concretar todo lo que debía
quedar arreglado: persianas, grifos, etc... Cual fue nuestra sorpresa
cuando al entrar a la casa (ya era casi de noche) nos dimos cuenta de
que la casa estaba llena de cucarachas, vivas y muertas (salen cuando
no hay sol). Yo me fui de allí muy nerviosa porque tengo fobia a
esos bichos. Después de darle vueltas toda la noche al tema, decidí
al día siguiente hablar con el propietario para decirle que quería
dar marcha atrás al contrato porque yo no podría vivir en una casa
llena de cucarachas. Él me comentó que no me preocupara porque iba
a llamar a una empresa de desinsectación. Tras la visita de la
empresa Will-Kill, ésta dijo que había una plaga importante en la
casa y que por lo menos durante 15 días la casa debía estar vacía
para que los insecticidas pudieran hacer efecto. Yo con toda esta
información, confirmo al propietario que no quiero seguir adelante
con el alquiler. El propietario me dice que él no tiene ningún
problema en devolverme el dinero entregado, que son 550€ de fianza
más 550€ de mes corriente (Abril). A continuación, nos dirijimos
a la Agencia y aquí nos dicen que ellos no nos van a devolver el
dinero, es decir, los 550€ más IVA en concepto de honorarios. Con
toda esta información, no entendemos por qué no nos lo quieren
devolver cuando ellos han ofrecido y alquilado un piso que tiene un
problema oculto y poniéndolo a disposición desde el 1 de Abril
cuando en realidad hasta mínimo 15 días después no se va a poder
entrar. Les ruego me expliquen si puedo hacer algo para reclamarles
este dinero ya que me parece una situación muy injusta en la que yo,
que no tengo la culpa de nada de esto, tengo que ser la única que
pierda mi dinero.