Problema con el dueño de un alquiler temporal

Hemos estado una semana en un piso de alquiler por días. Cuando dejamos el piso lo dejamos tal y como nos lo encontramos sin ningún problema, pero ahora el dueño nos acusa de que le hemos hecho unos daños de los que no sabemos nada. Todavía no hemos tomado ninguna decisión, ¿pero qué deberíamos hacer en este caso? El tiene todavía nuestra fianza que eran 250 euros y tememos que además de quedarse con ella nos pida más dinero. ¿Deberíamos llevarle a juicio? Nos parece un poco fuerte pero no queremos cargar con las culpas de algo que no hemos hecho y además quedarnos sin fianza. Espero vuestras opiniones y respuestas. Un saludo. Alicia.