Mi casero quiere quitarme la fianza sin motivo.

Tal como redacto, mi casero quiere quitarme parte de mi fianza sin motivo justificado, básicamente porque el vecino (que solo sube los fines de semana) dice que mi perro ha roto la valla de acero que divide las dos parcelas porque conseguía pasar a la suya, y dice que le ha causado daños materiales en su parcela sin pruebas, (cuando mi perro no ha roto nada, simplemente pasó por debajo de la valla y fueron 2 o 3 veces únicamente), La valla estaba con retales de madera cuando llegamos, además de algún agujero que tapamos nosotros con maderas que era lo que ya había. Cómo era tan evidente el estado de la valla, pensamos que el casero tendría conocimiento de ello y por eso no le avisamos, (error por nuestra parte) El caso es que el el vecino pretende que el casero pague de mi fianza la valla nueva y las supuestas cosas que dice que mi perro le ha roto, de hecho hay zorros por la zona y es muy posible que ese ha sido el motivo del desastre material, pero esa posibilidad ni la contempla! Además que han habido muchos días de viento huracanado que también se carga las cosas ..

En resumen, ¿el casero me puede quitar la fianza por lo que le diga la vecina? ¿Puede cambiar la valla de mi fianza si el estado ya era tan deficiente cuando entramos a vivir? Los problemas con la vecina (¿en cuánto los supuestos daños materiales que dice haberle causado mi perro) en teoría no deberían de ser entre ella y yo? ¿O tiene que intervenir el casero con mi fianza? ¿Cómo puedo yo defenderme aquí y conseguir impecable mi fianza?