Reclamación de fianza de un alquiler

Alquile mi apartamento y a los tres años el inquilino se marcha, me aviso con un mes de antelación, le dejo las llaves al vigilante que tenemos en la finca, dijo que tenia prisa y no podía esperar que yo pasara a recogerlas,cuando fui a por ellas subí a ver como estaba la casa y vi que habían varios desperfectos que tenia que arreglar, le mande un mail diciéndole lo que había y lo que costaba el arreglo,aparte del consumo de luz y agua hasta el día que él se fue, su respuesta es que le devuelva la fianza completa ,si no es así,me amenaza con denunciarme por no haber depositado la fianza en conselleria, yo lo único que quiero es arreglar los desperfectos, pero el se niega ¿como puedo solucionar esto? No quiere firmar el fin del contrato hasta que no le devuelva la fianza y así estamos ¿que puedo hacer? Muchas gracias.