¿Tengo posibilidades de recuperar mi fianza?

Mi problema viene por que los dueños del chalet donde vivía de alquiler con mi novia durante un año, no nos quieren devolver la fianza(750 euros), basándose en que hay unas sillas que estaban deterioradas y ellos las dejaron "nuevas".
Entramos a vivir en Agosto del 2009 y firmamos el contrato junto con el Ayuntamiento de Valdemoro y los arrendadores, depositando el dinero de la fianza en el IVIMA. Durante el año que estuvimos solo tuve una queja y era la siguiente:
A los dos meses de entrar a vivir se rompe la cisterna de uno de los baños, la reparamos y el coste fue 150 euros(tengo factura). Le enviamos un correo para decirle cual era el importe de la reparación y su contestación fue que como ya estábamos nosotros en la vivienda el gasto corría de nuestra cuenta, sobre lo que tengo mis dudas.
Pasó un año y mi novia por motivos laborales se tenía que trasladar a otra comunidad y decidimos dejar la vivienda. Nos pusimos en contacto con ellos un mes antes y quedamos para que vieran el chalet y dar su conformidad y nosotros devolver las llaves.
Pusieron algunas quejas por un grifo del riego del jardín que se congelo y se estropeo y una ventana de la cocina que no cerraba bien, pero dieron el visto bueno. Entonces firmamos la resolución del cese del contrato y quedamos en que nos devolverían la fianza.
Mi novia se fue pero yo me quedaba en Madrid, así que decidimos firmar otro contrato solo para mí por un mes de duración(mientras yo encontraba otro domicilio)y ellos bajaban la cuantía del alquiler mensual de 750 a 400 euros y medigeron que como solo era un mes, nos devolverían la fianza al finalizar este segundo contrato. Como vieron la casa anteriormente y dieron el visto bueno, yo confié en ellos.
Además tenía que esperar un mes a que el IVIMA les diera la fianza a ellos y después ellos a nosotros,(cosa que tampoco entiendo, porque el dinero de la fianza es nuestro y si las dos partes estamos de acuerdo, no se porque el dinero se lo da el IVIMA a los arrendadores), así que no vi inconveniente.
Nuestra sorpresa viene cuando pasa este mes y vuelven a ver la casa y nos dicen que hay unas cartas que llegaron al chalet de unas multas de trafico y que como no les avisamos de que estaban allí, las multas venían con recargo y ese recargo lo cogerían de nuestra fianza, a lo que respondimos que el dinero de la fianza es para otros menesteres.
Como por contrato no podía quedarse el dinero por dicho motivo, nos dijeron que unas sillas de madera( 4 sillas usadas, viejas y que nadie les pidió que las dejasen en el chalet) que se habían estropeado por dejarla fuera en el jardín había que repararlas y el coste era 750 euros, exactamente el dinero de la fianza. Alo que ya empezamos a pensar que querían quedarse nuestro dinero fuese como fuese.
Nos pusimos en contacto con la oficina de vivienda del Ayuntamiento de Valdemoro y nos dijeron que no podían quedarse la fianza por ese motivo y la oficina de vivienda también les dijo que devolviesen el dinero, pero ellos(los arrendadores) se negaron. Así que les mandamos un burofax instándoles que nos devolviesen nuestro dinero o iríamos a juicio a lo que contestaron que si íbamos a juicio, ellos nos reclamarían 160 euros más del importe de reparación de las sillas, que al final fue más dinero de los 750 euros iniciales.
Mi pregunta es si tengo garantías de ganar el juicio y si me merece la pena. Los documentos que puedo aportar son los 2 contratos, y a resolución del primer contrato de arrendamiento.