Engaño de casero para echarnos y no devolver fianza

Nuestro casero nos propuso venta del piso en octubre 2018. No nos avisó que tenía un embargo de 1.200.000 euros, incluso nos llegó a pedir 100.000 euros para hacer subrogación sin saber de la carga, y cuando solicitamos nota simple y nos dimos cuenta nos ofreció comprar otro piso que tenía alquilado. No nos gustó y nos dijo que teníamos que dejar el piso por qué lo necesitaba su hija. Nosotros nos hemos marchado lo más rápido posible por qué no queremos problemas. Pero ahora no nos devuelve la fianza y reclama daños por encima de los 4000 euros... El piso nos lo entrego sin pintar y nos lo carga a nosotros. Y el mantenimiento total. En el contrato tenemos firmado en su día cláusulas que nos otorgan el total mantenimiento. Nosotros nos hacemos responsables de lo que hemos dejado mal, un vidrio roto y los agujeros realizados en paredes... Pero no de pintarle todo... En su día nos embauco manifestando buenas intenciones y no imaginábamos tal desenlace... Pero creemos que son abusivas estás clausulas. La rescisión de contrato consta como de mutuo acuerdo, pero tenemos sus emails conforme necesita el piso para su hija. Ha pasado un Mes y no vive alli ...¿es posible reclamar por algún lado? Nosotros solo queremos nuestra parte de la fianza que nos corresponde.